Seed Audio 1.0 を聴く
ドキュメンタリーのナレーション
音声、温かく落ち着いた語り
スリラーのボイスオーバー
音声、ひそやかで張り詰めた
スパイス市場のアンビエンス
効果音、開放的な屋外のベッド
雷雨
効果音、嵐から雷鳴の一撃へ
オーケストラのキュー
音楽、高まる弦楽と金管
ローファイビート
音楽、柔らかな鍵盤とビニールノイズ
Seed Audio 1.0 の活用例
動画音声を一度に生成
1回の生成でクリップにナレーション、音響、音楽を与えます。シーン、話す人、起きること、雰囲気を書けば、モデルが音声トラック全体を引き受けます。
解説動画とチュートリアル
整った語りに部屋鳴りと軽い音楽ベッドを添えて1本の出力に。ナレーションが内容を運び、モデルが音響空間を埋めるので、場所のある仕上がった音になります。
短い広告とプロモ
セリフ、効果音、音楽をそのまま使える1本のトラックに。プロンプトにタイミングを書けば、狙った語で音を当て、頃合いで音楽を引きます。
脚本のある対話とオーディオドラマ
はっきり違う声、的確な感情表現、噛み合う環境音を備えた複数人物のシーンを、1つのプロンプトで。脚本を書いて各人の声を説明すれば、モデルが配役と演出をします。
オーディオブックと長尺ナレーション
収録なしでナレーション、キャラクターボイス、音響を用意します。ByteDanceは費用を人の収録の約10分の1としています。語り手を決めたら、あとは1冊をシーンごとに進めます。
フレーム単位で合う吹き替え
各セリフにタイムスタンプを付ければ、モデルが演技をその区間ちょうどに収めます。セリフがカットの近くではなくカットに落ちます。対応する20言語すべてで使えます。
Seed Audio 1.0 のプロンプトの書き方
良いプロンプトは音声合成の1行ではなく、短いシーン説明のように読めます。だからこそモデルは音声・音楽・効果音を1つのシーンに収められます。送信前に SCENE を確認してください。
| SCENE | 含めるもの | 例 |
|---|---|---|
| シーン | 天気、場所、状況、音響 | 放課後の廊下、遠くの足音、反響 |
| 配役 | 各人物の動作や身なり | リュックを肩に、ドアから手を振る |
| 効果音と音楽 | 音楽の雰囲気やジャンル、効果音 | 低い戦太鼓、重い金管、ロッカーの「カチャン」 |
| 声のメモ | 性別、年齢、なまり、感情、声色、速さ | 十代の男子、米国なまり、明るく強気な声 |
| セリフ | 各人物が話す言葉、かぎ括弧で | 「エマ、土曜って空いてる？」 |
強いプロンプトと平凡なプロンプトを分けるのは3つの習慣です。
長く書く。 上限は3,000文字で、公式の作例はその大半を使っています。ここでの描写は水増しではありません。環境、音楽、各人物の芝居はどれもモデルが作るものなので、削った一文はそのままモデルに委ねた判断になります。
音を字にする。 擬音は効きます。リュックのファスナーの「ジジッ」、遠ざかる学校のチャイムの「キーンコーン」、刃が空を裂く「ブン、ブン」。音は名前で呼ぶより、字に起こすほうが確実です。
言語を揃える。 話させたいセリフと同じ言語でプロンプトを書きます。日本語の台本を英語で説明するのは、なまりが不自然になる最もよくある原因です。
学校のチャイム「キーンコーン」が近くから遠くへ消えていき、放課後の廊下に遠くの足音、生徒たちのざわめき、ときおりロッカーの「カチャン」、そして廊下の反響。ジェイク（十代の男子、米国なまり、明るく若い声、陽気で強気）がからかうように弾んで言う。「エマ、土曜って空いてる？おごるよ、あの新しい遊園地！」リュックのファスナーが「ジジッ」と鳴る。エマ（十代の女子、米国なまり、甘くやわらかい息まじりの声、内気）が慌てて声を落とす。「えっと……宿題がまだ終わってなくて。」ジェイクが言葉を伸ばして誘う。「日曜にやればいいって、半日だけだよ！」エマがほだされて口ごもる。「でも……月曜提出なの。」ジェイクが穏やかに言う。「一緒にやって、それから出かける。どう？」エマは笑いをこらえきれず、恥ずかしそうに折れる。「……わかった、半日だけね？」ジェイクが弾んで。「決まり！」二人の足音が遠ざかって終わる。
秒単位でタイミングを制御する
Seed Audio 1.0 は精密なタイム制御に対応します。セリフの先頭に [開始:終了] の形でタイムスタンプを置くと、モデルはそのセリフの演技をその区間ちょうどに収めます。収まるように速度を上げ下げし、間を置きます。
ライアン（若い男性、温かい声）が不安げに、少し息を切らして呼びかける。「[5.5s:8.0s] マヤ！待って、本当に今夜行ってしまうの？」マヤ（若い女性、やわらかい声）が平静を装いながら静かに答える。「[8.5s:11.5s] 行かなきゃ。何年も追いかけてきたの、今さら引き返せない。」
これがこのモデルを吹き替えで使えるものにしています。各セリフのイン点とアウト点をタイムラインから取ってプロンプトに書けば、返ってきたトラックは伸縮も切り詰めもなしに絵に乗ります。タイムスタンプを付けなければ、モデルはシーンに自然なテンポを与えます。
参照音声から声をキャスティングする（TA2A）
シーンに声を入れる方法は2つあります。T2A では説明を書けばモデルが役を当てます。TA2A では参照音声をアップロードし、生成される声が録音に従います。
これとは別に、シーン作りの外側にもっと単純な音声クローンのモードがあります。クリップを1本アップロードすると、クローンされた声が通常の音声合成で使えるようになります。台本を読み上げる声だけが必要なときはこちらを。その声が音楽や効果音、ほかの登場人物と並んでシーンの中に収まる必要があるなら TA2A に切り替えてください。
TA2A は各30秒までの参照クリップを3本まで受け取ります。どの声がどの話者のものかモデルに分かるよう、各クリップを文中で人物に紐づけ、あとは T2A と同じようにシーンを書きます。
[街のアンビエンス：通り過ぎる車、遠くの話し声、かすかな風。] マーカス（男性の声、なめらかで自信があり、温かく茶目っ気のある司会者の口調、明瞭な発音、演じるのは <<TGT_SPK1>>）が弾んだ親しみやすい調子で言う。「どうも！ひとつ質問です、これまでで一番恥ずかしかったことは何ですか？」タイラー（やや若い男性の声、少し緊張気味、軽い笑いを含んで表情豊か、演じるのは <<TGT_SPK2>>）が長いうめきと苦い笑いをもらして言う。「うわ、ほんとに聞かないほうがいいですよ。まあいいか、でもここだけの話で。」マーカス（演じるのは <<TGT_SPK1>>）が身を乗り出し、興味津々で言う。「こうなったら聞かないと。どうぞ。」[二人が吹き出す。街のアンビエンスがふくらんでフェードアウト。]
TA2A のプロンプトで押さえるべきことは3つ。何を生成するか、どの参照音声を使うか、そして各参照音声が何のためのものか。クリップは @Audio1、@Audio2、@Audio3 で選びます。その生成用にアップロードすることも、アセットライブラリから選んでシリーズ全体で使い回すこともできます。
[街のアンビエンス：通り過ぎる車、遠くの話し声] のような角括弧の指示は、音を特定の話者に結びつけずにシーンを開閉するきれいな方法です。
参照クリップは CLEAR のチェックリストで用意します。
- 背景ノイズの少ないきれいな録音
- 1本あたり30秒未満の長さ
- 求める芝居に合った感情
- 各クリップ内で一貫したなまり
- クリップ間で安定した部屋鳴り
クリップがまったくない場合は、「感じがいい」「プロっぽい」ではなく年齢・なまり・話す速さを挙げて、声をテキストで説明します。キャラクター画像も使えます。モデルは見た目の年齢や性格から合う声を導くので、架空の話者やアニメーションの話者に便利です。
Seed Audio 1.0 の使い方
完成トラックまでは4ステップです。
- シーン説明を書く。舞台、配役、音楽と効果音、各人の声、セリフを、上の SCENE チェックリストに沿って書きます。最大3,000文字。
- 声を決める。T2A ならプロンプト内で説明し、TA2A なら参照クリップを3本までアップロードして紐づけます。キャラクター画像でも構いません。
- 必要ならタイミングを足す。決まった区間に収める必要があるセリフに
[開始:終了]のタイムスタンプを置きます。 - 生成する。1回で音声・音楽・効果音がミックス済みで、最大2分まで返ります。
2分を超えるもの、たとえばオーディオブックの1章や1話まるごとは、シーンごとに進め、配役がぶれないよう生成をまたいで同じ音声参照を使い続けてください。
よくある質問
T2A（テキストから音声）は、環境、音楽、効果音、各人物の声まで、すべてを説明から組み立てます。TA2A（テキスト＋音声から音声）はそこに参照録音を3本まで加え、特定の人物に紐づけます。紐づけた声は文章の説明ではなく録音に従います。プロンプトのそれ以外の書き方は同じです。
はい。T2AとTA2Aのほかに音声クローンのモードがあります。音声クリップを1本アップロードすると、クローンされた声が通常の音声合成で使えるようになります。ByteDanceは1本のクリップからのクローンとして記載しています。その声を音楽や効果音、ほかの話者と一緒に1つのシーンの中で鳴らす必要があるなら、参照クリップを3本まで受け取り、それぞれを人物に紐づけられる TA2A を使ってください。
セリフの先頭に [5.5s:8.0s] の形でタイムスタンプを置くと、モデルは速度と間を調整して、その演技をぴたりとその区間に収めます。音を絵に合わせる必要のある吹き替えで、このモデルを実用的にしているのがこの機能です。タイムスタンプのないセリフは自然なテンポで読まれます。
20言語です。英語、中国語、日本語、韓国語、メキシコスペイン語、カスティーリャスペイン語、インドネシア語、ドイツ語、ブラジルポルトガル語、フランス語、タイ語、ベトナム語、マレー語、フィリピン語、イタリア語、ロシア語、オランダ語、ポーランド語、トルコ語、スウェーデン語。台本と同じ言語でプロンプトを書くと、結果が最も安定します。
はい。シーンを書きながら各人物の声を説明すれば、モデルは1回の生成で話者ごとに異なる声・感情・テンポを与え、周囲の環境音や効果音も一緒に作ります。TA2A モードでは、そのうち3人までを参照録音に紐づけられます。
1回あたり最大2分の音声で、プロンプトは最大3,000文字です。生成は非ストリーミングで、モデルは音声をリアルタイムに返すのではなく、ミックス済みの完成トラックをレンダリングします。それより長い作品はシーンごとに作ります。
このモデルが最も力を発揮する使い方のひとつです。1つのプロンプトで語り手の声、登場人物の声、その周りの音響までまかなえるので、シーンはミックス待ちの別トラックではなく、仕上がった状態で届きます。章をまたいで同じ音声参照を使えば、語り手は1冊を通して変わりません。
大きく違います。通常の音声合成は声を選んでテキストを読み上げます。Seed Audio 1.0 はテキストから音声へ、さらに参照から音声へと進みます。1つのプロンプトで環境、音楽、効果音、各人物の声を説明すると、モデルはシーン全体をミックスした状態で返します。範囲の違いは、声だけか、完成した音声作品まるごとか、です。