モーション・トランスファー
モーション・トランスファーとは？
モーション・トランスファーは、ある映像から動き（人がどう歩き、踊り、動くか）を抽出し、そのまったく同じ動きのパターンを別のAI生成キャラクターや被写体に適用します。
ひと目で分かる
- 別名
- ポーズ・トランスファーポーズ誘導映像生成モーション条件付け生成参照モーション・アニメーション
- 用途
- 現実世界の動き参照を用いてAI生成キャラクターをアニメーション化するダンス、運動、演技の動きを合成された被写体に適用する手作業のキーフレーム化やライブのモーションキャプチャーなしでキャラクターアニメーションを作成する俳優の演技を異なる視覚キャラクターに転送する
- 主なツール
- ControlNet (pose conditioning)AnimateDiffRunway gen-3Kling motion reference featuresMorphic motion transfer tools
- 関連用語
- ControlNetPose estimationAnimateDiffImage-to-videoKeyframeCharacter consistency
- How it works in simple terms
- AIは参照映像を解析し、動く被写体のスケルトンとポーズの系列をフレームごとに抽出します。次に、それらのポーズをガイドとして用い、別のキャラクター（外観の参照や記述で定義される）が同じ動きの系列を演じる新しい映像を生成します。
- Where you encounter this
- モーション・トランスファー機能は、Runway、Kling、Morphicの映像生成ツールを含むAI映像プラットフォームや、ControlNetとAnimateDiffの上に構築されたオープンソースのワークフローに現れます。プロフェッショナルなAI映像制作パイプラインで標準的な機能となりつつあります。
創ってみませんか？
シーンを演出し、キャラクターをデザインし、長編映像まで仕上げる
シンプルで透明性の高い料金体系、速度制限なし、無限のCanvasで創造性を最大化する、オールインワンのAIクリエイティブプラットフォーム。
他の概念との比較
Compared with related concepts
モーション・トランスファーは、従来のモーションキャプチャーと関連しつつも異なります。モーションキャプチャーは、物理的なセンサースーツ、マーカーアレイ、または光学トラッキングを用いて、制御された制作環境で実際の演者の動きデータを記録し、後でデジタルキャラクターに適用します。モーション・トランスファーは既存の任意のビデオ映像を入力として用い、物理的センサーなしでコンピュータビジョンを適用して動きを抽出し、リグ付け可能なアニメーションデータを生むのではなく新しいビデオ出力を生成します。モーション・トランスファーは民生ハードウェアと標準的なビデオ入力で利用でき、従来のモーションキャプチャーは専門機材、スタジオ、制作インフラを必要とします。
たとえば…
モーション・トランスファーは、ダンサーの動きの上に透明なトレーシングペーパーを置き、すべてのポーズと遷移のパターンを捉え、そのパターンを持ち上げてまったく別の人物の上に重ねるようなものです。新しい人物は元と同じタイミング、リズム、身体性で動きますが、見た目はまったく異なります。
プロのヒント
モーション・トランスファーを使う際、ソース参照映像の品質が転送される動きの品質に大きく影響します。明確で遮られない身体の視認性、一定の照明、フレームの大部分を占める単一の被写体、比較的安定したカメラの動きを持つ参照映像を選びます。複雑な複数人のシーン、強い遮蔽（四肢が互いに交差する）、速くまたは無秩序な動き、不安定な手持ちのカメラの動きはいずれもポーズ抽出の精度を下げ、転送品質を劣化させます。明確で十分に照らされた単一被写体の参照映像が、最も信頼でき制御可能なモーション・トランスファーの結果を生みます。
種類とバリエーション
スケルトンベースのモーション・トランスファーは、抽出したポーズ・スケルトンを条件付け信号として用い、身体構造と動きを転送しつつ被写体の視覚的な再スタイリングを完全に可能にします。密なフローベースの転送は、より細かい動きのディテールのためにピクセルレベルのモーションベクトルを用いますが、計算的により負荷が高くなります。ビデオ間モーション・トランスファーは、ソース映像の動きを新しい映像生成に適用し、動きと視覚的文脈の両方を同時に変えられるようにします。顔モーション・トランスファーは、ソースからターゲットの顔へ顔の動きと表情を特に転送し、トーキングヘッド生成や表情アニメーションを可能にします。オブジェクト・モーション・トランスファーは、まだ新興の能力であり、モーション・トランスファーを人型の被写体を超えてオブジェクトや非キャラクター要素に拡張します。
Morphicで最初のシーンを作ってみませんか？
Morphicを試す主な活用シーン
モーション・トランスファーは、参照演技映像でキャラクターをアニメーション化するAI映像制作、流行のダンスをブランド入りまたは様式化されたキャラクターに適用するコンテンツ制作、カスタムキャラクターで運動技術や動きの指導を可視化する教育・トレーニング、振付や身体演技が特定のキャラクターでどう見えるかを制作前にプレビューするビジュアル開発、従来のモーションキャプチャーのコストや手間なしでキャラクターアニメーションを作成する映画・広告、そして特定の動きの質を生成キャラクターで再現する必要のあるあらゆるAI生成の文脈で用いられます。
創ってみませんか？
シーンを演出し、キャラクターをデザインし、長編映像まで仕上げる
シンプルで透明性の高い料金体系、速度制限なし、無限のCanvasで創造性を最大化する、オールインワンのAIクリエイティブプラットフォーム。
FAQ
モーション・トランスファーは、ソース映像から動きのパターン、すなわち被写体がどう動くかのタイミング、方向、身体力学を抽出し、それらのパターンを別の生成された被写体やキャラクターに適用するAI技術です。手作業のキーフレーム化や従来のモーションキャプチャー機材なしで、既存の任意のビデオを動きの参照として用いてAI生成キャラクターをアニメーション化することを可能にします。
ほとんどのモーション・トランスファーのアプローチは、ポーズ推定を用いてソース映像のフレーム全体で解剖学的な主要点（関節、四肢、身体輪郭）を識別・追跡し、ポーズ・スケルトンの系列を生成します。次に生成モデル（しばしばControlNetや類似のフレームワークで条件付けられた拡散モデル）が、そのポーズ系列をガイドとして用い、指定された対象キャラクターが同じ動きの系列を演じる新しい映像を合成します。
大規模で明確に見える全身の動き、すなわち歩行、走行、大きなジェスチャーを伴うダンス、明確な身体軌道を伴う運動的な動きは、現在のAIシステムで最も信頼性高く転送されます。複雑な微細運動、速い多方向の動き、細かい手指の関節運動、顔の微表情、複数人の身体的接触を伴う相互作用は、依然としてより困難であり、一貫性の低い結果を生みます。
はい、原理的にはどんなビデオもモーション参照として使えますが、転送の品質は参照映像の特性に大きく依存します。明確で十分に照らされ、遮られない単一の被写体、最小限のカメラの動き、明確に見える身体の位置を持つ映像が、最も正確で実用的なポーズ抽出を生みます。強い遮蔽、複数の被写体、低解像度、無秩序なカメラの動きを持つ映像は、より低品質の動き抽出と信頼性の低い転送を生みます。
モーション・トランスファーとディープフェイク技術は一部の技術的基盤を共有します。どちらもある映像から抽出した特性を別の映像に適用しますが、目的と懸念は異なります。モーション・トランスファーは、創造的な制作目的のために生成または合成されたキャラクターへ動きのパターンを転送することに焦点を当てます。ディープフェイク技術は通常、映像内の実在の人物の顔やアイデンティティを別の実在の人物の顔に置き換えることを含み、同意、真正性、誤情報に関する重大な懸念を生みます。倫理的なモーション・トランスファーの応用は、生成された、または同意した被写体を対象として用います。
従来のモーションキャプチャーは、演者の動きデータを記録するために物理的なセンサースーツ、専門のスタジオ、制御された制作環境を必要とします。モーション・トランスファーは既存の任意のビデオ映像を入力として用い、物理的センサーなしでコンピュータビジョンを適用して動きを抽出します。モーションキャプチャーは3D制作パイプライン全体で使えるリグ付け可能なアニメーションデータを生み、モーション・トランスファーは新しい生成ビデオ出力を直接生みます。モーション・トランスファーははるかにアクセスしやすく、必要な制作インフラがはるかに少なくて済みます。
モーション・トランスファーとキャラクターの一貫性は、AI映像制作における関連した課題です。モーション・トランスファーは、生成キャラクターがソース参照と同じように動くかどうかを扱います。キャラクターの一貫性は、生成キャラクターの外観（顔、衣装、体のプロポーション）が生成映像のフレーム全体で安定して保たれるかどうかを扱います。この両方を同時に達成すること、すなわち一貫したキャラクター外観で転送された動きを正確に演じることは、現在のAI映像生成における主要な技術的課題の一つです。
実用的な応用には、マーケティングコンテンツのためにダンスの振付をブランド入りのAIキャラクターに適用すること、カスタムの指導用キャラクターで運動コーチング素材を可視化すること、俳優の参照演技を用いて事前可視化のためにゲームや映画のキャラクターをアニメーション化すること、流行の動きをオリジナルキャラクターに適用して様式化されたソーシャルメディアコンテンツを作成すること、一貫した再現可能な合成被写体が演じる特定の動きの系列を必要とするトレーニングや教育素材を制作することが含まれます。
