Seed Audio 1.0

Genel bakış

Seed Audio 1.0, ByteDance'in hepsi bir arada ses modeli; metin okumadan bir kopuş olarak değil, onun bir sonraki adımı olarak kurulmuş. Geleneksel ses iş akışları ses, müzik ve efektler için ayrı araçlar kullanır; her biri tek başına üretilir, sonra mikslenir. Seed Audio 1.0 üçünü de tek bir metin isteminden birlikte üretir ve çıktı, doğrudan kullanılabilir eksiksiz bir ses parçasıdır.

Metin okumadan referanstan sese

Alışılmış TTS bir ses ve bir metin bloğu alır. Seed Audio 1.0 bir sahne alır: havayı ve mekânı, altta akan müziği, olayın çevresindeki efektleri, her karakterin neye benzediğini ve nasıl duyulduğunu, bir de söyledikleri replikleri. Tarif edebildiğiniz her şey aynı üretimin parçası olur; bir istemin dolgu olmadan 3.000 karaktere çıkabilmesinin nedeni de budur.

Model sahne bağlamını anlar. Kafede geçen bir konuşma istemi, jenerik bir oda tonu değil, arka planda uğultu ve doğru akustik alanı alır. Bir aksiyon sahnesi, sessizliğin üzerine yapıştırılmış fon müziği değil, keskin efektler ve devingen bir müzik alır. Üç katman ayrı ayrı dışa aktarılıp birleştirilmiş gibi değil, sahneye göre oranlanıp mikslenmiş olarak çıkar.

Dört mod

En yalını metin okuma: bir ses seçin, metni girin, model okusun. Ses klonlama bir adım ekler: tek bir ses klibi yüklersiniz ve klonlanan ses aynı metin okuma için kullanılabilir olur. Diğer iki mod ise bu modeli sıradan TTS'ten ayıran yer.

Metinden sese (T2A) modunda her ses sizin tarifinizden doğar. Bir karakterin yaşını, aksanını, duygusunu, tonunu ve konuşma hızını söyleyin; model onu kadroya alsın.

Metin artı sesten sese (TA2A) modunda her biri en fazla 30 saniyelik üç referans klibe kadar dosya yükler ve her birini istem içinde bir karaktere bağlarsınız. Üretilen ses o zaman bir tarifi değil, kaydı izler. Referans klipler tek bir iş için yüklenebilir ya da bir varlık kitaplığında tutulup bir dizinin tamamında yeniden kullanılabilir.

Yirmi dil

Seed Audio 1.0 İngilizce, Çince, Japonca, Korece, Meksika İspanyolcası, Kastilya İspanyolcası, Endonezce, Almanca, Brezilya Portekizcesi, Fransızca, Tayca, Vietnamca, Malayca, Filipince, İtalyanca, Rusça, Felemenkçe, Lehçe, Türkçe ve İsveççe üretim yapar. İstem dili ile senaryo dili aynı olmalı: brifingi, karakterlerin konuştuğu dilde yazın.

Saniyesine kadar belirleyebildiğiniz zamanlama

Seed Audio 1.0 herhangi bir replikte, satır içinde [5.5s:8.0s] biçiminde yazılan bir zaman kodunu kabul eder ve okuyuşu tam olarak o aralığa oturtur. Dublajda bu, aşağı yukarı uyan sesle kurguya tam oturan ses arasındaki farktır. Üretim akışsızdır: model bitmiş parçayı iki dakikaya kadar tek geçişte işler.