Seed Audio 1.0

概要

Seed Audio 1.0はByteDanceのオールインワン音声モデルです。音声合成との決別ではなく、その次の一歩として作られています。従来の音声制作では、声・音楽・効果音を別々のツールで個別に作り、あとからミックスします。Seed Audio 1.0は1つのテキストプロンプトから3つをまとめて生成し、そのまま使える完成トラックを返します。

テキストから音声へ、さらに参照から音声へ

通常のTTSは声とテキストの塊を受け取ります。Seed Audio 1.0が受け取るのはシーンです。天気と部屋、下に流れる音楽、動きの周りの効果音、各人物の見た目と声、そして話すセリフ。書けるものはすべて同じ生成の一部になります。プロンプトが水増しにならずに3,000文字まで伸ばせるのはそのためです。

モデルはシーンの文脈を理解します。カフェの会話のプロンプトなら、汎用の部屋鳴りではなく周囲のざわめきと正しい音響空間が返ります。アクションの場面なら、無音の上に貼りつけたBGMではなく、鋭い効果音とダイナミックな音楽が返ります。3つの層は別々の書き出しを組み合わせたものではなく、そのシーンに合わせた比率でミックスされて出てきます。

4つのモード

もっとも単純なのは音声合成です。声を選んでテキストを入れれば、モデルが読み上げます。音声クローンはそこに1手順を足すもので、音声クリップを1本アップロードすると、クローンされた声が同じ音声合成で使えるようになります。残る2つのモードが、このモデルを通常のTTSから分けている部分です。

テキストから音声（T2A） では、すべての声が説明から生まれます。人物の年齢、なまり、感情、声色、話す速さを書けば、モデルがその役を当てます。

テキスト＋音声から音声（TA2A） では、各30秒までの参照クリップを3本までアップロードし、プロンプト内でそれぞれを人物に紐づけます。生成される声は説明ではなく録音に従います。参照クリップは1回の生成用にアップロードすることも、アセットライブラリに置いてシリーズ全体で使い回すこともできます。

20の言語

Seed Audio 1.0は英語、中国語、日本語、韓国語、メキシコスペイン語、カスティーリャスペイン語、インドネシア語、ドイツ語、ブラジルポルトガル語、フランス語、タイ語、ベトナム語、マレー語、フィリピン語、イタリア語、ロシア語、オランダ語、ポーランド語、トルコ語、スウェーデン語で生成します。プロンプトの言語と台本の言語は揃えてください。人物が話す言語で説明を書きます。

秒単位で指定できるタイミング

Seed Audio 1.0はどのセリフにもタイムスタンプを受け付けます。行内に [5.5s:8.0s] と書けば、その区間ちょうどに演技を収めます。吹き替えでは、だいたい合う音声と、カットにぴたりと収まる音声との違いになります。生成は非ストリーミングで、モデルは最大2分の完成トラックを1回でレンダリングします。