Seed Audio 1.0

Überblick

Seed Audio 1.0 ist ByteDances All-in-One-Audiomodell, gebaut als nächster Schritt für Text-to-Speech und nicht als Abkehr davon. Klassische Audio-Workflows nutzen getrennte Werkzeuge für Stimme, Musik und Soundeffekte, jeweils einzeln erzeugt und dann gemischt. Seed Audio 1.0 produziert alle drei gemeinsam aus einem einzigen Text-Prompt, und das Ergebnis ist eine vollständige, direkt verwendbare Audiospur.

Von Text-to-Speech zu Referenz-zu-Audio

Gewöhnliches TTS nimmt eine Stimme und einen Textblock. Seed Audio 1.0 nimmt eine Szene: Wetter und Raum, die Musik darunter, die Effekte rund um die Handlung, wie jede Figur aussieht und klingt, und die Zeilen, die sie sprechen. Alles, was Sie beschreiben können, wird Teil derselben Generierung. Genau deshalb darf ein Prompt bis zu 3.000 Zeichen lang sein, ohne Füllmaterial zu sein.

Das Modell versteht den Szenenkontext. Ein Prompt für ein Café-Gespräch bekommt Stimmengewirr und den passenden akustischen Raum, keinen generischen Raumton. Eine Actionszene bekommt scharfe Effekte und eine dynamische Musik, keine über Stille gelegte Hintergrundmusik. Die drei Ebenen kommen für die Szene ausbalanciert und gemischt heraus, nicht aus getrennten Exporten zusammengesetzt.

Vier Modi

Am einfachsten ist Text-to-Speech: Stimme wählen, Text eingeben, das Modell liest vor. Stimmenklonen ergänzt einen Schritt: Sie laden einen einzigen Audioclip hoch, und die geklonte Stimme steht für dasselbe Text-to-Speech bereit. Die anderen beiden Modi sind das, was dieses Modell von gewöhnlicher TTS abhebt.

Bei Text-Prompt zu Audio (T2A) entsteht jede Stimme aus Ihrer Beschreibung. Nennen Sie Alter, Akzent, Emotion, Tonfall und Tempo einer Figur, und das Modell besetzt sie.

Bei Text-Prompt plus Audio zu Audio (TA2A) laden Sie bis zu drei Referenzclips von je maximal 30 Sekunden hoch und weisen jeden im Prompt einer Figur zu. Die erzeugte Stimme folgt dann der Aufnahme statt einer Beschreibung. Referenzclips lassen sich für einen einzelnen Auftrag hochladen oder in einer Asset-Bibliothek halten und über eine ganze Serie wiederverwenden.

Zwanzig Sprachen

Seed Audio 1.0 generiert in Englisch, Chinesisch, Japanisch, Koreanisch, mexikanischem Spanisch, kastilischem Spanisch, Indonesisch, Deutsch, brasilianischem Portugiesisch, Französisch, Thai, Vietnamesisch, Malaiisch, Filipino, Italienisch, Russisch, Niederländisch, Polnisch, Türkisch und Schwedisch. Prompt-Sprache und Skriptsprache sollten übereinstimmen: Schreiben Sie das Briefing in der Sprache, die die Figuren sprechen.

Timing auf die Sekunde genau

Seed Audio 1.0 akzeptiert einen Timecode auf jeder Zeile, inline geschrieben als [5.5s:8.0s], und passt den Vortrag exakt in dieses Fenster ein. Bei der Synchronisation ist das der Unterschied zwischen Ton, der ungefähr passt, und Ton, der auf dem Schnitt sitzt. Die Generierung ist Non-Streaming: Das Modell rendert die fertige Spur in einem Durchgang, bis zu zwei Minuten lang.