フレーム補間

フレーム補間は、映像シークエンスの既存フレームの間に新しい合成フレームを生成し、フレームレートを増やして滑らかな動きを作る技法です。現代のAIベースの手法は、モーションベクトルと視覚的内容を分析してもっともらしい中間フレームを合成し、単に隣接フレームをブレンドした古い技術よりも著しく優れた結果を生み出します。

AIフレーム補間は、大量の映像で訓練されたニューラルネットワークを使って、隣接フレーム間で起きている動きを推定し、その動きに沿ったもっともらしい中間位置を表す新しい画像内容を合成します。このプロセスは、あらゆる領域の動きの方向と速度を判定するオプティカルフロー推定と、それに続く補間された時間的位置に新しい画像内容を生成するフレーム合成を伴います。

補間アーティファクトは、モデルのモーション推定が不正確であるか内容の複雑さに対して不十分なときに合成フレームに現れる視覚的なエラーです。一般的なアーティファクトには、動く被写体の半透明な二重像が主たる被写体と並んで現れるゴースト、速く動く物体がその動きの経路に沿ってぼけの跡を残すにじみ、隣接フレームの互換性のない画像内容の領域が不適切に統合される一貫性のないブレンドが含まれます。

RIFEはReal-Time Intermediate Flow Estimationの略で、最も広く使われるAIフレーム補間モデルの一つです。高い補間品質と速い処理速度の組み合わせで評価されており、法外なレンダリング時間を必要とせずポストプロダクションのワークフローに実用的です。RIFEはスタンドアロンツールとして利用でき、Topaz Video AIを含むいくつかのプロフェッショナルな映像アップスケーリングおよび強化アプリケーションに統合されています。

フレーム補間は、各実撮影間に追加の合成フレームを生成することで標準フレームレート映像から説得力のあるスローモーション効果を作り、映像をネイティブのフレームレート以下に単に遅くすることに伴うぼけなしに、映像を時間的に引き伸ばせます。中程度のスローモーション倍率では、AI補間は高品質な結果を生み出します。非常に高いスローモーション倍率は、実フレームあたり多くの合成フレームを必要とし、特に複雑または速く動くシーンでアーティファクトの目立ちやすさを増します。

フレーム補間は、ネイティブのフレームレートで目に見える時間的なちらつきや滑らかさの不足のあるAI生成映像に有益です。すでに滑らかな映像や、意図的な映画的な24 FPSの美学を持つコンテンツには、補間は改善にならず、より低いフレームレートに伴う自然なモーションブラーを取り除くことで視覚的性格を望ましくない形で実際に変えてしまう可能性があります。補間を適用する前に、その特定の映像が滑らか化から恩恵を受けるかを評価することが推奨されるアプローチです。

フレーム補間は、滑らかで一貫した比較的遅い動き（風景、緩やかなカメラの動き、遅いキャラクターの動き）のある映像で最良の結果を生み出します。非常に速い動き、複雑な前景と背景のオクルージョン、急速なカメラのパン、シーンの移行ではうまく機能しません。これらの強みと限界を理解することは、滑らか化を必要としなかったシーンにアーティファクトを導入しながら普遍的に適用するのではなく、映像を改善する場所に補間を選択的に適用するのにクリエイターが役立ちます。

ソープオペラ効果は、フレーム補間で処理された映画やテレビコンテンツの不自然なほど滑らかで超現実的な見た目を多くの視聴者が呼ぶものです。通常、モーション滑らか化機能がデフォルトで有効になっているコンシューマー向けテレビで起こります。この効果は、昼間のテレビドラマの高フレームレートの美学との関連から名付けられています。ソープオペラ効果が望ましいかどうかは、コンテンツと文脈に完全に依存します。ほとんどの映画製作者によって劇場用映画コンテンツには不適切と見なされますが、一部の視聴者にはスポーツやその他の動きの多い番組向けに好まれます。