モーション・トランスファー
モーション・トランスファーとは？
モーション・トランスファーは、ある映像から動き（人がどう歩き、踊り、動くか）を抽出し、そのまったく同じ動きのパターンを別のAI生成キャラクターや被写体に適用します。
ひと目で分かる
- 別名
- ポーズ・トランスファーポーズ誘導映像生成モーション条件付け生成参照モーション・アニメーション
- 用途
- 現実世界の動き参照を用いてAI生成キャラクターをアニメーション化するダンス、運動、演技の動きを合成された被写体に適用する手作業のキーフレーム化やライブのモーションキャプチャーなしでキャラクターアニメーションを作成する俳優の演技を異なる視覚キャラクターに転送する
- 主なツール
- ControlNet (pose conditioning)AnimateDiffRunway gen-3Kling motion reference featuresMorphic motion transfer tools
- 関連用語
- ControlNetPose estimationAnimateDiffImage-to-videoKeyframeCharacter consistency
- How it works in simple terms
- AIは参照映像を解析し、動く被写体のスケルトンとポーズの系列をフレームごとに抽出します。次に、それらのポーズをガイドとして用い、別のキャラクター（外観の参照や記述で定義される）が同じ動きの系列を演じる新しい映像を生成します。
- Where you encounter this
- モーション・トランスファー機能は、Runway、Kling、Morphicの映像生成ツールを含むAI映像プラットフォームや、ControlNetとAnimateDiffの上に構築されたオープンソースのワークフローに現れます。プロフェッショナルなAI映像制作パイプラインで標準的な機能となりつつあります。
創ってみませんか？
シーンを演出し、キャラクターをデザインし、長編映像まで仕上げる
シンプルで透明性の高い料金体系、速度制限なし、無限のCanvasで創造性を最大化する、オールインワンのAIクリエイティブプラットフォーム。
他の概念との比較
Compared with related concepts
モーション・トランスファーは、従来のモーションキャプチャーと関連しつつも異なります。モーションキャプチャーは、物理的なセンサースーツ、マーカーアレイ、または光学トラッキングを用いて、制御された制作環境で実際の演者の動きデータを記録し、後でデジタルキャラクターに適用します。モーション・トランスファーは既存の任意のビデオ映像を入力として用い、物理的センサーなしでコンピュータビジョンを適用して動きを抽出し、リグ付け可能なアニメーションデータを生むのではなく新しいビデオ出力を生成します。モーション・トランスファーは民生ハードウェアと標準的なビデオ入力で利用でき、従来のモーションキャプチャーは専門機材、スタジオ、制作インフラを必要とします。
たとえば…
モーション・トランスファーは、ダンサーの動きの上に透明なトレーシングペーパーを置き、すべてのポーズと遷移のパターンを捉え、そのパターンを持ち上げてまったく別の人物の上に重ねるようなものです。新しい人物は元と同じタイミング、リズム、身体性で動きますが、見た目はまったく異なります。
プロのヒント
モーション・トランスファーを使う際、ソース参照映像の品質が転送される動きの品質に大きく影響します。明確で遮られない身体の視認性、一定の照明、フレームの大部分を占める単一の被写体、比較的安定したカメラの動きを持つ参照映像を選びます。複雑な複数人のシーン、強い遮蔽（四肢が互いに交差する）、速くまたは無秩序な動き、不安定な手持ちのカメラの動きはいずれもポーズ抽出の精度を下げ、転送品質を劣化させます。明確で十分に照らされた単一被写体の参照映像が、最も信頼でき制御可能なモーション・トランスファーの結果を生みます。
種類とバリエーション
スケルトンベースのモーション・トランスファーは、抽出したポーズ・スケルトンを条件付け信号として用い、身体構造と動きを転送しつつ被写体の視覚的な再スタイリングを完全に可能にします。密なフローベースの転送は、より細かい動きのディテールのためにピクセルレベルのモーションベクトルを用いますが、計算的により負荷が高くなります。ビデオ間モーション・トランスファーは、ソース映像の動きを新しい映像生成に適用し、動きと視覚的文脈の両方を同時に変えられるようにします。顔モーション・トランスファーは、ソースからターゲットの顔へ顔の動きと表情を特に転送し、トーキングヘッド生成や表情アニメーションを可能にします。オブジェクト・モーション・トランスファーは、まだ新興の能力であり、モーション・トランスファーを人型の被写体を超えてオブジェクトや非キャラクター要素に拡張します。
Morphicで最初のシーンを作ってみませんか？
Morphicを試す主な活用シーン
モーション・トランスファーは、参照演技映像でキャラクターをアニメーション化するAI映像制作、流行のダンスをブランド入りまたは様式化されたキャラクターに適用するコンテンツ制作、カスタムキャラクターで運動技術や動きの指導を可視化する教育・トレーニング、振付や身体演技が特定のキャラクターでどう見えるかを制作前にプレビューするビジュアル開発、従来のモーションキャプチャーのコストや手間なしでキャラクターアニメーションを作成する映画・広告、そして特定の動きの質を生成キャラクターで再現する必要のあるあらゆるAI生成の文脈で用いられます。
創ってみませんか？
シーンを演出し、キャラクターをデザインし、長編映像まで仕上げる
シンプルで透明性の高い料金体系、速度制限なし、無限のCanvasで創造性を最大化する、オールインワンのAIクリエイティブプラットフォーム。
