モーション・トランスファーは、ソース映像から動きのパターン(タイミング、方向、速度、身体力学を含む)を抽出し、その動きを新しい出力における異なる被写体、キャラクター、人物に適用するAIおよびコンピュータビジョン技術である。従来の制作意味でのキーフレームやモーションキャプチャーを通じて一からキャラクターをアニメーション化するのではなく、モーション・トランスファーは既存の任意のビデオをモーション参照として使用することを可能にし、その動きの構造的・時間的特性を抽出し、元の動きの特徴を保持したまま新しい被写体に再適用する。結果として、外観、体型、衣服、視覚的文脈の違いに関わらず、対象となる被写体がソースと同じパターンで動く生成映像が得られる。
モーション・トランスファーを支える技術的プロセスには通常、ポーズ推定(ソース映像のフレーム全体で関節、四肢、身体輪郭などの主要な解剖学的ランドマークを識別・追跡すること)と、抽出されたポーズ系列を演じる対象被写体を合成する生成プロセスが含まれる。ControlNetや類似の条件付けフレームワークに基づくアプローチは、拡散モデルがポーズ・スケルトン系列によって誘導されることを可能にし、外観が別の参照画像やテキスト記述で定義された生成キャラクターに抽出された動きを適用する。より新しい映像生成モデルは、モーション・トランスファーを統合機能として組み込み、参照映像を入力としてその動きの特性を解析し、指定されたキャラクターやシーンが同じ動きを演じる新しい映像の生成を条件付けることを可能にしている。現在のAIシステムにおけるモーション・トランスファーの品質には差があり、単純で孤立した大規模な身体運動は最も信頼性高く転送される一方、複雑な微細運動、複数人の相互作用、物体操作、高度に動的な動きは、依然として活発な開発と一貫しない出力の領域である。
AI映像クリエイターにとって、モーション・トランスファーは大きな創造的可能性を開く。ダンスの振付を任意の生成キャラクターに適用でき、特定の演者にアクセスせずともアニメーション・シーケンスを制作できる。参照映像からの俳優の演技は、AI生成キャラクターのためのモーション参照として使用できる。アスレチックやスタントの演技は、トレーニング可視化、製品デモ、物語的コンテンツのために合成された被写体に転送できる。この技術はAI映像ワークフローにおけるキャラクターアニメーションの障壁を大幅に低減し、実演キャプチャや手作業のキーフレーム・アニメーションの必要性を、既存の映像にすでに存在する動きを活用するプロンプト&参照のアプローチに置き換える。モーション・トランスファー機能を備えたプラットフォームにおいて、この技術の長所と現在の限界(特に複雑または高速な動きの忠実度、転送されたモーション・シーケンス全体にわたる生成キャラクター外観の一貫性)の両方を理解することは、効果的な使用に不可欠である。