Seed Audio 1.0

Visão geral

O Seed Audio 1.0 é o modelo de áudio all-in-one da ByteDance, pensado como o próximo passo da síntese de voz e não como uma ruptura com ela. Fluxos de áudio tradicionais usam ferramentas separadas para voz, música e efeitos sonoros, cada uma gerada de um lado e depois mixada. O Seed Audio 1.0 produz as três juntas a partir de um único prompt de texto, e a saída é uma faixa de áudio completa, pronta para usar.

Da síntese de voz para o áudio por referência

A TTS de sempre pega uma voz e um bloco de texto. O Seed Audio 1.0 pega uma cena: o tempo lá fora e a sala, a música por baixo, os efeitos em volta da ação, a aparência e o som de cada personagem, e as falas que eles dizem. Tudo que você conseguir descrever entra na mesma geração, e é por isso que um prompt pode chegar a 3.000 caracteres sem virar enchimento.

O modelo entende o contexto da cena. Um prompt de conversa em cafeteria recebe burburinho e o espaço acústico certo, não um ruído de sala genérico. Uma cena de ação recebe efeitos secos e uma trilha dinâmica, não música de fundo colada sobre o silêncio. As três camadas saem proporcionadas e mixadas para a cena, e não montadas a partir de exportações separadas.

Quatro modos

O mais simples é a síntese de voz: escolha uma voz, digite o texto e o modelo lê. A clonagem de voz acrescenta um passo: você envia um único clipe de áudio e a voz clonada fica disponível para essa mesma síntese de voz. Os outros dois modos são o que separa este modelo da TTS de sempre.

Em texto para áudio (T2A), cada voz vem da sua descrição. Diga a idade, o sotaque, a emoção, o tom e a velocidade de um personagem, e o modelo escala a voz.

Em texto mais áudio para áudio (TA2A), você envia até três clipes de referência de no máximo 30 segundos e liga cada um a um personagem no prompt. A voz gerada então segue a gravação, e não uma descrição. Os clipes de referência podem ser enviados para um único trabalho ou guardados em uma biblioteca de assets e reaproveitados em uma série inteira.

Vinte idiomas

O Seed Audio 1.0 gera em inglês, chinês, japonês, coreano, espanhol do México, espanhol da Espanha, indonésio, alemão, português do Brasil, francês, tailandês, vietnamita, malaio, filipino, italiano, russo, holandês, polonês, turco e sueco. O idioma do prompt e o do roteiro devem ser o mesmo: escreva o briefing no idioma que os personagens falam.

Tempo que você define no segundo

O Seed Audio 1.0 aceita um timecode em qualquer fala, escrito na linha como [5.5s:8.0s], e encaixa a interpretação exatamente nessa janela. Em dublagem, essa é a diferença entre um áudio que quase serve e um áudio que cai no corte. A geração é sem streaming: o modelo renderiza a faixa pronta em uma única passagem, de até dois minutos.