Deforum
Deforumとは？
Deforumとは、Stable Diffusionの画像生成をアニメーションへと変えるオープンソースのツールで、一連のフレームにわたって画像・カメラ・プロンプトが時間とともにどう変化するかをユーザーが定義できるようにします。
ひと目で分かる
- Type of model
- Stable Diffusion向けのオープンソースのアニメーション拡張であり、単体のモデルではない
- Developed by
- オープンソースコミュニティ（Deforumの貢献者たち）
- Key capability
- カメラ移動制御、プロンプトスケジューリング、フレーム単位の変換パラメータを用いた、Stable Diffusion出力のキーフレームベースのアニメーション化
- How it fits in AI workflow
- Stable Diffusionエコシステム内でAIアニメーション動画シーケンスを制作するために用いられ、特に専用の動画モデルが提供する以上の制御を要する、実験的でスタイライズされた、パラメータ駆動のアニメーションに適している
創ってみませんか？
シーンを演出し、キャラクターをデザインし、長編映像まで仕上げる
シンプルで透明性の高い料金体系、速度制限なし、無限のCanvasで創造性を最大化する、オールインワンのAIクリエイティブプラットフォーム。
他の概念との比較
Compared with related concepts
Deforum対専用動画生成モデル：RunwayやKlingなどの専用動画生成モデルは、学習された時間的整合性を備えた統一されたシーケンスとして動画を生成し、自然で物理的に妥当に見える動きを作り出します。Deforumはフレームごとに生成し、各フレームの間に変換を適用するため、視覚的に独特だが専用動画モデルほど時間的に整合しない、特徴的な流れるようなモーフィングの美学を生み出します。Deforumはパラメータレベルでのより細かい制御を、専用モデルはより自然な見た目の動きとシンプルな操作を提供します。
プロのヒント
Deforumでアニメーションを行う際は、フレームごとの変換値を小さく設定し、長めのシーケンスを使うほうが、フレームごとに大きく飛ばすより滑らかで制御された動きが得られます。300フレームにわたるフレームあたり0.02のズーム増分は、安定した緩やかな映画的に感じられるズームを生み出します。30フレームにわたるフレームあたり0.2のズームは、合計の移動量は同じでも速くてぎくしゃくして見えます。仕上がりのよい出力には、控えめな設定と長めのシーケンスがほぼ常に好ましい選択です。
種類とバリエーション
2Dモードは、生成されたフレームに対し平面画像として直接、ズーム・回転・並進などの変換を適用し、フレーム間の画像操作によってアニメーションを生み出します。3Dモードは奥行き推定を用いて、遠近の正しいカメラ移動シミュレーションを適用し、三次元空間を移動するより説得力のある感覚を作り出します。動画入力モードは、既存の動画を各生成フレームの初期化に用い、実写映像の上にDeforumのスタイライズを適用します。プロンプトスケジューリングにより、定義したキーフレーム地点でテキストプロンプトを変化させ、シーケンスの長さ全体を通じて、アニメーションの内容が異なる被写体やスタイルへと変化していくようにできます。
Morphicで最初のシーンを作ってみませんか？
Morphicを試す主な活用シーン
アートプロジェクト、ミュージックビデオ、クリエイティブな探求のための実験的でサイケデリックなAIアニメーションシーケンスの制作。被写体や環境の間を時間とともに連続的に流れる、夢のようなモーフィング映像の生成。ライブパフォーマンス、インスタレーションアート、モーショングラフィックスの文脈に向けた、ループするアニメーション背景や視覚環境の作成。Deforumの動画入力モードを通じて、フレーム単位で適用されるStable Diffusionの美学を用いた既存の実写映像のスタイライズ。専用の動画モデルでは同じパラメータレベルで再現できない、精密に制御されたカメラ移動とプロンプトの変化を持つ、長尺のAIアニメーションシーケンスの構築。
創ってみませんか？
シーンを演出し、キャラクターをデザインし、長編映像まで仕上げる
シンプルで透明性の高い料金体系、速度制限なし、無限のCanvasで創造性を最大化する、オールインワンのAIクリエイティブプラットフォーム。
FAQ
Deforumとは、Stable Diffusion向けのオープンソース拡張で、AI生成動画におけるキーフレームベースのアニメーションとカメラ移動制御を可能にします。各フレームを段階的に調整したパラメータで個別に生成し、Stable Diffusionの画像生成パイプラインからアニメーションシーケンスを作り出します。
Deforumは各動画フレームを個別のStable Diffusion画像として生成し、ユーザーが定義したキーフレームのスケジュールに従って、ズーム・回転・並進・プロンプトの変化を含む段階的な変換をフレーム間に適用します。生成されたフレームは動画シーケンスへとまとめられます。
プロンプトスケジューリングにより、生成を導くテキストプロンプトをアニメーション全体の指定したキーフレーム地点で変化させることができ、シーケンスの長さを通じて画像の内容が異なる被写体や美学へと変化していくようにできます。
特定の用途においては有用です。Deforumはアニメーションのスケジュールに対する、専用の動画モデルが提供しない細かなパラメータレベルの制御を提供し、その特徴的な流れるようなモーフィングの美学は独特で、実験的・アート的な文脈で重宝されます。Stable Diffusionエコシステム内で作業するクリエイターにとっては今も有用です。
2Dモードは変換を平面画像の操作として適用し、生成フレームを直接ズーム・回転・並進させます。3Dモードは奥行き推定を用いて、遠近の正しいカメラ移動シミュレーションを適用し、三次元空間を移動するより説得力のある感覚を作り出します。
Deforumは、カメラが生成的な視覚形態の中や周囲を移動して見えるなかで、画像の内容が連続的に変化し移り変わる、独特の流れるようなモーフィングのアニメーションスタイルを生み出します。この美学は、初期の拡散モデル時代におけるAI動画アートの1ジャンルとして広く認識されるようになりました。
DeforumはAUTOMATIC1111やグラフィカルユーザーインターフェースを備えた他のStable Diffusionインターフェースからアクセスでき、直接コードを扱う必要を減らせます。ただし、プロンプトスケジューリングやカスタムパラメータの高度な利用には、基盤となるパラメータ構造への習熟があると役立ちます。
できます。Deforumの動画入力モードは既存の動画をフレームの初期化に用い、ソース映像の上にStable Diffusionのスタイライズをフレームごとに適用します。これにより、選んだモデルとプロンプトの美学で描画された、元の動画内容のスタイライズされた版が生み出されます。
