OmniHuman 2.0：完全ガイド

OmniHuman 2.0 は、1枚の写真から演技の全体を作ります。材料は音声だけです。どんな音が入っているかに加えて、どう言っているかも聞き取るので、声のトーンがそのまま表情に出ます。音を出して確かめてください。

講義動画も、縦型のショート動画も、語り手を写真と音声で用意できます。

BytePlus のローンチ投稿によると、2.0 の違いは3点です。

用意するのは2つで、3つ目は任意です。ほとんどの動画は、最初の2つだけで作れます。

結果を最も左右するのは写真です。モデルは見えているものを保つので、ピントが合い、明るい顔からは、鮮明で明るい演技が生まれます。

粘土のキャラクターやイラストも使えます。目と口がはっきり読み取れる顔に描いてください。

音声が演技そのものなので、言い方がそのまま画面に出ます。先に声を作るか録音して、動画を生成する前に聞き直してください。

同じモデルでも、言い方が違えば演技は大きく変わります。ささやき、叫び、笑いは、それぞれ別の演技になります。

1つのショットを、最長5分まで続けられます。2.0 より前は、60秒を超えると分けて生成し、つなぐ必要がありました。つなぎ目で顔や光、背景が飛ぶことがありました。ワンテイクなら、それを避けられます。ただし、写真と音声が最後までもつことが条件です。

1. 台本を最後まで書き、声を1回でまとめて生成します。始めから終わりまで、トーンがそろいます。
2. 一度通して聞き、読み間違いを直してから動画を生成します。あとで直すと、テイク全体をやり直すことになります。
3. 落ち着いた、ニュートラルな表情の写真を選びます。冒頭の1行だけでなく、音声のすべての場面で使う顔です。
4. 台本の真ん中あたりから20秒のテストを先に生成し、そのあとで全体を生成します。

演技の大部分は音声が担います。特定の動きがほしいときだけ、短い演出メモを足します。書くのは言葉の中身ではなく、話し方や動きです。

メモの例は、英語の文のまま載せています。意味は括弧の中に添えました。

BytePlus のローンチ用デモを見た一部の人が、話している間に背景が揺れることに気づきました。音声駆動のモデルは、顔だけでなくフレームの全体を、毎フレーム描きます。話者の後ろの人、棚、看板、柄など、写真の中のどれもが動く可能性があります。描くものが多いほど、動くものも増えます。

Morphic で検証しました。顔も声も同じにして、背景だけを2通り用意しています。賑やかなカフェの背景では、後ろの人たちが勝手に振り向いて動きます。背景のフレーム間の変化は、無地の壁の約2.3倍でした。

背景を動かさない手順は5つです。

1. 背景は無地か、ぼかしたものにします。賑やかな写真しかないときは、人物はそのままに、背景だけを無地の壁に差し替えます。上の無地の例も、この方法で作りました。
2. フレームに入れる顔は1つだけにします。ぼけていても、端にいても、ほかの人は切り取るか消します。
3. 人物の後ろに細かい要素を置きません。文字、タイル、小物の並ぶ棚、イルミネーションなどです。
4. 演出メモに background stays still（背景は動かさない）を加えます。
5. 長いテイクの一部がまだ揺れるときは、その区間だけを単独で生成し直して差し込みます。切り替えは、カットが目立ちにくい話の切れ目で行います。

この検証には、Veed Fabric を使いました。OmniHuman 2.0 はまだ Morphic にないためです。写真1枚からフレーム全体を描くモデルなら原因は同じなので、対策もそのまま使えます。

どちらも、写真1枚と音声1本から、話す動画を作ります。Veed Fabric は今日から Morphic で使え、このガイドの例はすべてそれで作りました。OmniHuman 2.0 は近日公開です。

1. Copilot を開き、顔が1つはっきり写り、背景が無地の写真を添付します。
2. 自分の声か曲のトラックを添付します。台本から声を作りたいときは、先に Copilot へ声の生成を頼みます。
3. Veed Fabric で話す動画を作るよう頼み、短い演出メモを添えます。結果はダウンロードするか、エディターで開きます。