Seed Audio 1.0

Vue d'ensemble

Seed Audio 1.0 est le modèle audio tout-en-un de ByteDance, conçu comme l'étape suivante de la synthèse vocale plutôt que comme une rupture avec elle. Les flux audio traditionnels utilisent des outils séparés pour la voix, la musique et les effets sonores, chacun généré de son côté puis mixé. Seed Audio 1.0 produit les trois ensemble à partir d'un seul prompt texte, et la sortie est une piste audio complète, prête à l'emploi.

Du texte-vers-parole au référence-vers-audio

Une TTS classique prend une voix et un bloc de texte. Seed Audio 1.0 prend une scène : la météo et la pièce, la musique en dessous, les effets autour de l'action, l'allure et la voix de chaque personnage, et les répliques qu'ils prononcent. Tout ce que vous décrivez entre dans la même génération, et c'est pourquoi un prompt peut atteindre 3 000 caractères sans être du remplissage.

Le modèle comprend le contexte de la scène. Un prompt de conversation au café obtient un brouhaha ambiant et le bon espace acoustique, pas un fond de pièce générique. Une scène d'action obtient des effets nets et une partition dynamique, pas une musique posée sur du silence. Les trois couches sortent proportionnées et mixées pour la scène, et non assemblées depuis des exports séparés.

Quatre modes

Le plus simple est la synthèse vocale : choisissez une voix, saisissez un texte, et le modèle le lit. Le clonage vocal ajoute une étape : envoyez un seul extrait audio et la voix clonée devient disponible pour cette même synthèse vocale. Les deux autres modes sont ceux qui démarquent le modèle.

En prompt texte vers audio (T2A), chaque voix vient de votre description. Précisez l'âge, l'accent, l'émotion, le ton et le débit d'un personnage, et le modèle le distribue.

En prompt texte plus audio vers audio (TA2A), vous envoyez jusqu'à trois extraits de référence de 30 secondes maximum et vous associez chacun à un personnage dans le prompt. La voix générée suit alors l'enregistrement plutôt qu'une description. Les extraits de référence peuvent être envoyés pour une seule tâche ou conservés dans une bibliothèque d'assets et réutilisés sur toute une série.

Vingt langues

Seed Audio 1.0 génère en anglais, chinois, japonais, coréen, espagnol du Mexique, espagnol d'Espagne, indonésien, allemand, portugais du Brésil, français, thaï, vietnamien, malais, philippin, italien, russe, néerlandais, polonais, turc et suédois. La langue du prompt et celle du script doivent correspondre : rédigez le brief dans la langue que parlent les personnages.

Un minutage réglable à la seconde

Seed Audio 1.0 accepte un timecode sur n'importe quelle réplique, écrit en ligne sous la forme [5.5s:8.0s], et ajuste le jeu à cette fenêtre exacte. En doublage, c'est la différence entre un audio qui tombe à peu près juste et un audio qui tombe sur la coupe. La génération est non-streaming : le modèle rend la piste finie en une seule passe, jusqu'à deux minutes.