Seed Audio 1.0

Visión general

Seed Audio 1.0 es el modelo de audio todo en uno de ByteDance, planteado como el siguiente paso de la síntesis de voz y no como una ruptura con ella. Los flujos de audio tradicionales usan herramientas separadas para voz, música y efectos de sonido, cada una generada por su lado y luego mezclada. Seed Audio 1.0 produce las tres juntas a partir de un solo prompt de texto, y la salida es una pista de audio completa y lista para usar.

De la síntesis de voz al audio por referencia

La TTS de siempre toma una voz y un bloque de texto. Seed Audio 1.0 toma una escena: el tiempo que hace y la sala, la música por debajo, los efectos alrededor de la acción, qué aspecto y qué sonido tiene cada personaje, y las líneas que dicen. Todo lo que puedas describir entra en la misma generación, y por eso un prompt puede llegar a 3.000 caracteres sin ser relleno.

El modelo entiende el contexto de la escena. Un prompt de conversación en una cafetería recibe murmullo de fondo y el espacio acústico correcto, no un ruido de sala genérico. Una escena de acción recibe efectos secos y una música dinámica, no música de fondo pegada sobre el silencio. Las tres capas salen proporcionadas y mezcladas para la escena, no montadas a partir de exportaciones sueltas.

Cuatro modos

El más sencillo es la síntesis de voz: eliges una voz, escribes un texto y el modelo lo lee. La clonación de voz añade un paso: subes un solo clip de audio y la voz clonada queda disponible para esa misma síntesis de voz. Los otros dos modos son los que separan a este modelo de la TTS de siempre.

En texto a audio (T2A), cada voz sale de tu descripción. Indica la edad, el acento, la emoción, el tono y la velocidad de un personaje, y el modelo lo reparte.

En texto más audio a audio (TA2A), subes hasta tres clips de referencia de 30 segundos como máximo y asignas cada uno a un personaje en el prompt. La voz generada sigue entonces a la grabación en lugar de a una descripción. Los clips de referencia se pueden subir para un solo trabajo o guardarse en una biblioteca de recursos y reutilizarse en toda una serie.

Veinte idiomas

Seed Audio 1.0 genera en inglés, chino, japonés, coreano, español de México, español de España, indonesio, alemán, portugués de Brasil, francés, tailandés, vietnamita, malayo, filipino, italiano, ruso, neerlandés, polaco, turco y sueco. El idioma del prompt y el del guion deben coincidir: escribe el brief en el idioma que hablan los personajes.

Un tiempo que puedes fijar al segundo

Seed Audio 1.0 acepta un código de tiempo en cualquier línea, escrito en línea como [5.5s:8.0s], y ajusta la interpretación a esa ventana exacta. En doblaje, esa es la diferencia entre un audio que encaja más o menos y un audio que cae justo en el corte. La generación es sin streaming: el modelo renderiza la pista acabada en una sola pasada, de hasta dos minutos.