AIモーショントランスファーとは
AIモーショントランスファーは、動画の動きを別のキャラクターに引き継ぐ機能です。撮影した振り付けを、VTuberやオリジナルキャラクターに踊らせたいときに向いています。用意するのは、参照クリップとキャラクター画像の2つです。結果は、キャラクターが参照と同じ動きをする映像になります。
参照クリップを1コマずつ読み取り、その動きをキャラクターに当てはめます。
- 写し取るもの： ポーズ、身振り、タイミング、腕や脚の軌道、歩きのリズム。
- 保たれるもの： キャラクター画像の顔、プロポーション、見た目、背景の場面。
- プロンプトより確実な理由： 「自信を持って歩く」と書いても、歩き方は10通りあります。参照クリップがあれば迷いがなくなり、動きが自然に見えます。
AIモーショントランスファーの例
同じダンスの参照を、2通りに使った例です。モーショントランスファーでは、画像の宇宙飛行士が自分の赤い砂漠で踊ります。Morphic Recastは、屋上、カメラ、光を残し、踊る人だけを入れ替えます。
参照クリップ
モーショントランスファー
Morphic Recast
歩く動きは、特にきれいに移ります。歩く速さと振り返る仕草は参照から来ています。男性とコート、秋の公園は、キャラクター画像のものです。
参照クリップ
モーショントランスファー
Morphicでモーショントランスファーを実行する手順
Motion controlは、Canvas上でそのまま動きます。結果が他のショットの隣に並ぶので、書き出さずに、トリミングや延長、音付けへ進めます。
Motion controlを開く
Motion controlを開きます。プロンプトバーに、キャラクター画像1枚とモーション参照動画1本を求める表示が出ます。
クリップとキャラクターを追加し、名前で呼ぶ
参照クリップとキャラクター画像をアップロードします。プロンプトでは、それぞれを名前で指します。たとえば「Image 1の宇宙飛行士が、Video 1のダンスを、自分の赤い砂漠で踊る」と書きます。
生成して、Canvasで確認する
生成します。新しいクリップがCanvasに置かれ、詳細にはプロンプトと2つの参照が残ります。同じ設定から、プロンプトを直して再生成できます。
言葉で頼みたいときは、同じ2つのファイルをCopilotに添付します。依頼文では、それぞれを名前で指定します。モーショントランスファーはCopilotが実行します。
専用のモーショントランスファー・ワークフローが必要ですか？ 一緒に作りましょう。
VTuberやキャラクターを扱うスタジオ、制作会社、ゲーム開発チーム向けです。キャラクター、参照クリップ、納品の形をお知らせください。最初の1本から編集済みの完成版まで、専用のモーショントランスファー・ワークフローを一緒に設計します。
モーショントランスファーで移りやすい動きと、崩れやすい動き
うまくいくもの
- フレームに全身が収まった動き： 歩く、踊る、身振り、スポーツの動作。
- 安定したリズム： 揺れ、歩幅、手を振る動きは、モデルが読み取りやすくなります。
- 近い体型： 参照の人物と比率が近いキャラクターほど、見た目が保たれます。
崩れやすいもの
- 隠れた被写体： 見切れる、隠れる、後ろを向くと、モデルがポーズを推測します。
- 速くて細かい動き： 指、素早い手の動き、微妙な表情が最初に歪みます。
- 形の不一致： 四足の動物に人のダンスをさせると、無理が出ます。
- 長いテイク： 後半でキャラクターの見た目がずれることがあります。短い参照のほうが保てます。
モーショントランスファー用に参照動画を整える方法
被写体の全身を収める
動く体を、最初から最後までフレームに入れます。正面向きで明るく、背景が無地の被写体が、最もきれいな入力です。
短く、途切れなくする
明確な動きを1つだけ収めた数秒のクリップが、最もうまくいきます。複数の動きをつないだ長いクリップは不向きです。動きが2つ必要なら、2回に分けて実行してください。
動きに合うキャラクターを選ぶ
立ち姿で正面を向いた、いわゆる立ち絵のキャラクター画像を使います。比率は、参照の人物に近いものが向いています。
動きと見た目を別々に確認する
まず動きのタイミングを確認します。次に、最後のコマまでキャラクターが本人に見えるかを確認します。動きがずれたら、より整った参照に替えます。見た目がずれたら、より強いキャラクター画像に替えます。
モーショントランスファー、動画から動画、Recastの使い分け
手元の動きや映像から始められるツールは4つあります。何を残したいかで選んでください。
| ツール | 残るもの | 変わるもの |
|---|---|---|
| モーショントランスファー | 参照クリップの動き | キャラクターと場面（画像から） |
| Morphic Recast | 場面、カメラ、カット、音声 | 人物（写真から） |
| 動画から動画 | 動きとタイミング | 見た目、時代、舞台 |
| 画像から動画 | 手元の静止画 | 動き（プロンプトから生成） |
参照がうまくいったら、使い回せます。新しいキャラクターごとに、同じクリップでの実行をCopilotに頼んでください。操作を順に追いたい方は、動画のモーションをAIキャラクターに転送する方法をご覧ください。
よくある質問
参照動画の動き（ポーズ、身振り、タイミング）を読み取り、別のキャラクターに当てはめる技術です。キャラクターは、多くの場合、画像で用意します。キャラクターは自分の見た目のまま、参照と同じ動きをします。動きが実際の映像から来るので、プロンプトだけで作るより自然に見えやすくなります。
参照にする動画は、自分で撮ったものか、使用の許可を得たものにしてください。他の人が投稿した動画や、実在の人物が映る映像は、著作権や肖像権の確認が必要です。判断に迷うときは、自分で撮影した短いクリップを参照にするのが最も安全です。
動く被写体が全身フレームに収まった、数秒のクリップです。明るく、背景が無地なら理想的です。歩く、踊る、身振りといった全身の動きは、きれいに移ります。見切れた被写体、隠れた被写体、後ろを向いた被写体は避けてください。
速くて細かい動きが、最初に歪みます。指、素早い手の動き、微妙な表情などです。長いクリップでは、見た目がずれることもあります。短い参照と、参照の人物に体型が近いキャラクターを使うと、崩れにくくなります。
はい。物体の形が動きに合っていれば可能です。動きについていける形ならうまくいきます。小さな物体に人の歩幅を求めると、無理が出ます。動きは、対象の体型に合わせて選んでください。
残すものが逆です。モーショントランスファーは、参照の動きを残し、新しいキャラクターに移します。動画から動画は、手元のクリップの動きを残し、見た目を変えます。特定の動きが欲しいならモーショントランスファーです。手持ちの映像の雰囲気を変えたいなら、動画から動画を使います。
モーショントランスファーは、参照を動きだけに使います。キャラクターは、画像にある場面に置かれます。Recastは、元の動画の場面、カメラ、音声を残し、人物だけを写真の人物に入れ替えます。ショットそのものが大事ならMorphic Recastです。キャラクターに専用の世界が必要なら、モーショントランスファーを選びます。
はい。同じ参照クリップで、キャラクターごとに1回ずつ実行します。それぞれが同じ動きをするので、1つの振り付けを複数のキャラクターで見せたいときに早く作れます。たとえば、ユニットのメンバー全員が同じ振り付けを踊る映像も、参照を1本用意すれば作れます。