AnimateDiff

AnimateDiffは、画像生成パイプラインに別途学習されたモーションモジュールを追加することで、テキストから画像への拡散モデルが短いアニメーションシーケンスを生成できるようにするオープンソースのフレームワークです。中核となる画像モデルを再学習させることなく、画像生成器が時間的に一貫したアニメーションを生み出せるようにします。

AnimateDiffは、首尾一貫したフレーム間モーションのパターンを学ぶために動画データで学習されたモーションモジュールを、事前学習済みの画像生成パイプラインに挿入します。生成時、このモジュールは各フレームが隣接フレームと時間的に一貫していることを保証し、独立した静止画ではなく滑らかなアニメーションシーケンスを生み出します。

AnimateDiffは通常数秒の長さの短いアニメーションシーケンスを生み出し、滑らかにループできます。アニメーションの視覚スタイルは使われる画像モデルのチェックポイントの美学を継承し、動きの特徴はモーションLoRAや調整されたプロンプト記述を使ってさらに形作ることができます。

AnimateDiffは既存の画像モデルに動きを追加し、その視覚スタイルを保ち、互換性のある任意のチェックポイントからのアニメーションを可能にします。専用の動画生成モデルは動画データでエンドツーエンドに学習され、一般により高い時間的一貫性とより長い動きのシーケンスを生み出しますが、カスタム画像モデルから特定の視覚スタイルを継承する柔軟性は劣ります。

AnimateDiffは香港中文大学の研究チームによって開発され、オープンソースプロジェクトとして公開されました。公開後、オープンソースのAI生成コミュニティ内で広く使われるようになりました。

AnimateDiffは、それが動作するよう設計されたアーキテクチャ、主にStable Diffusionと関連するチェックポイント上に構築された画像モデルと互換性があります。Stable DiffusionエコシステムのほとんどのコミュニティチェックポイントやLoRAファインチューンと組み合わせることができ、アニメーション出力が幅広い視覚スタイルを継承できるようにします。

モーションLoRAは、AnimateDiffのモーションモジュールへの軽量なファインチューン済みの追加で、生成される動きをカメラのパン、ズーム、ロールといった特定の動きのタイプへと偏らせます。モデルの完全な再学習を必要とせずに、動きの性格に対する追加の制御をクリエイターに提供します。

AnimateDiffは、特にカスタム画像モデルのチェックポイントに結びついた特定の視覚スタイルでコンテンツをアニメーション化する必要があるクリエイターにとって、オープンソースエコシステム内で依然として重要です。異なる画像モデルと組み合わせられる柔軟性は、既存の画像モデルとの視覚スタイルの一貫性が優先される用途において、商用の動画生成ツールに対する実用的な利点となります。