ロトスコーピング

ロトスコーピングは、映像をフレームごとになぞって、動く被写体の精密な輪郭やマットを作成する技法です。これらのマットは各フレームで前景と背景の境界を定義し、コンポジットアーティストが背景を置き換えたり、VFXを加えたり、映像の特定部分に選択的な処理を適用したりすることを可能にします。この用語は、アニメーション参照のために撮影された動きをなぞるのに使われた1915年のアニメーション装置、ロトスコープに由来します。

ロトマットは、フレームのどの領域が前景の被写体でどれが背景かを定義するグレースケール画像（またはアルファチャンネル）で、コンポジットで映像のレイヤーがどう組み合わさるかを制御するために使われます。マットの品質はコンポジットがシームレスに見えるか明らかに組み立てられて見えるかを決定します。貧弱なマットは被写体の境界に目に見えるフリンジ、ちらつくエッジ、半透明のアーティファクトを生み出します。良いロトは最終コンポジットでは見えません。

AIを活用したロトスコーピングツールは、動画セグメンテーションで訓練された機械学習を使って被写体を背景から自動的に識別して分離し、以前は完全に手作業のフレーム単位だったプロセスを劇的に削減します。AdobeのRoto Brush、Runwayの背景除去、専用のAIロトソフトウェアといったツールは、綺麗な映像なら数日ではなく数分で使えるマットを生み出せます。ただし、難しいエッジ（細い髪、半透明の生地、モーションブラー）を含む複雑な映像には、依然としてアーティストのQCと手作業の修正が必要です。

グリーンスクリーンは、ポストで電子的にキーアウトできる均一な色の背景の前で被写体を撮影するもので、撮影条件が許せば高速で多くの場合綺麗な前景と背景の分離を可能にします。ロトスコーピングは撮影方法に関係なくあらゆる映像で機能するため、グリーンスクリーンが使われなかった場合に必要となる技法です。ロトはより柔軟ですが労力を要し、グリーンスクリーンは利用可能で撮影環境が許す場合により速いです。

アニメーションのロトスコーピングは、ロトのなぞる作業をコンポジット目的ではなく芸術的に用いるものです。実写映像の輪郭をフレームごとになぞり、そのなぞった形をスタイライズされたアニメーションとしてレンダリングし、描画または塗装された美的感覚を通じて表現された実際の人間の動きの物理的妥当性を持つ動きを生み出します。この技法はマックス・フライシャーの初期のアニメーション映画、A-haの「Take On Me」のミュージックビデオ、リチャード・リンクレイターの『Waking Life』や『A Scanner Darkly』で使われました。

AI動画ワークフローにおいて、ロトスコーピングは実写と生成映像をコンポジットフレーム内で組み合わせるハイブリッド制作を可能にします。実際の被写体の綺麗なロトマットによって、AI生成された背景をその背後に配置したり、AI生成された要素を実写映像の前面にレイヤーしたり、撮影されたコンテンツと生成されたコンテンツを同じフレーム内でシームレスに組み合わせたりできます。このハイブリッドなアプローチは、フルのスタジオインフラなしにプロ品質で制作できるコンテンツの範囲を広げます。

Silhouetteは、映画やテレビのVFXにおける大量のロトスコーピング作業のための専用のプロ標準です。Adobe After Effectsは小規模制作のロトに広く使われ、そのRoto BrushツールはAI支援の被写体トラッキングを提供します。DaVinci ResolveのMagic Maskと手作業のマスキングツールは、フルのポストプロダクション環境内で有能なロトを提供します。AIを活用した素早い背景除去には、RunwayやAdobe Fireflyといったツールが独立系クリエイター向けのアクセスしやすい選択肢を提供します。

ロトスコーピングの時間は、被写体の複雑さ、エッジの難しさ、映像の長さ、使用するツールによって大きく変わります。無地の背景に対する単純で明確に定義された被写体なら、AI支援ツールで数分かもしれません。雑然とした環境を背景にした細い髪、半透明の生地、モーションブラーを含む複雑なショットは、手作業の精度が必要な場合、経験豊富なアーティストでも映像1秒あたり丸一日以上かかることがあります。AIツールは平均的なロト時間を劇的に削減しましたが、難しいショットでの手作業の介入の必要性をなくしてはいません。