Seed Audio 1.0

Gambaran umum

Seed Audio 1.0 adalah model audio all-in-one dari ByteDance, dibangun sebagai langkah berikutnya bagi text-to-speech, bukan sebagai pemutusan darinya. Alur kerja audio tradisional memakai perkakas terpisah untuk suara, musik, dan efek suara, masing-masing dibuat sendiri lalu dimix. Seed Audio 1.0 menghasilkan ketiganya sekaligus dari satu prompt teks, dan keluarannya adalah track audio utuh yang siap dipakai.

Dari text-to-speech ke audio berbasis referensi

TTS biasa mengambil satu suara dan satu blok teks. Seed Audio 1.0 mengambil satu adegan: cuaca dan ruangannya, musik di bawahnya, efek di sekitar aksinya, seperti apa rupa dan bunyi tiap karakter, serta dialog yang mereka ucapkan. Semua yang bisa Anda jelaskan menjadi bagian dari proses yang sama, dan itulah sebabnya sebuah prompt bisa mencapai 3.000 karakter tanpa menjadi pengisi kosong.

Model ini memahami konteks adegan. Prompt percakapan di kafe mendapat riuh obrolan dan ruang akustik yang tepat, bukan derau ruangan generik. Adegan aksi mendapat efek yang tajam dan musik yang dinamis, bukan musik latar yang ditempel di atas keheningan. Ketiga lapisan keluar dengan proporsi dan mix yang pas untuk adegannya, bukan dirakit dari ekspor terpisah.

Empat mode

Yang paling sederhana adalah text-to-speech: pilih suara, masukkan teks, model membacakannya. Kloning suara menambah satu langkah, unggah satu klip audio dan suara hasil kloning itu tersedia untuk text-to-speech yang sama. Dua mode berikutnya adalah yang membedakan model ini dari TTS biasa.

Pada teks ke audio (T2A), tiap suara berasal dari deskripsi Anda. Sebutkan usia, aksen, emosi, nada, dan kecepatan sebuah karakter, dan model akan memerankannya.

Pada teks plus audio ke audio (TA2A), Anda mengunggah hingga tiga klip referensi berdurasi maksimal 30 detik dan mengaitkan tiap klip ke satu karakter di dalam prompt. Suara yang dihasilkan lalu mengikuti rekaman itu, bukan sebuah deskripsi. Klip referensi bisa diunggah untuk satu pekerjaan saja atau disimpan di pustaka aset dan dipakai ulang di sepanjang satu seri.

Dua puluh bahasa

Seed Audio 1.0 menghasilkan audio dalam bahasa Inggris, Mandarin, Jepang, Korea, Spanyol Meksiko, Spanyol Kastilia, Indonesia, Jerman, Portugis Brasil, Prancis, Thai, Vietnam, Melayu, Filipino, Italia, Rusia, Belanda, Polandia, Turki, dan Swedia. Bahasa prompt dan bahasa naskah sebaiknya sama: tulis brief-nya dalam bahasa yang dipakai para karakter.

Waktu yang bisa ditentukan sampai per detik

Seed Audio 1.0 menerima timecode pada baris mana pun, ditulis langsung sebagai [5.5s:8.0s], dan menyesuaikan pembawaannya ke jendela waktu itu. Untuk sulih suara, inilah beda antara audio yang kira-kira pas dan audio yang jatuh tepat di potongan. Prosesnya non-streaming: model merender track jadi dalam satu proses, hingga dua menit.