AnimateDiff
AnimateDiff是什么？
AnimateDiff 是一个工具，它教会图像生成 AI 制作短动画，而无需从零开始重建整个 AI。
一图看懂
- Type of model
- 用于基于扩散的图像模型的开源运动生成框架
- Developed by
- 香港中文大学的研究团队，作为开源项目发布
- Key capability
- 通过一个可插拔的运动模块，为预训练的文本到图像扩散模型添加时间一致的运动生成
- How it fits in AI workflow
- AnimateDiff 位于文本到图像模型与产出层之间，介入生成过程以添加逐帧的时间一致性。它使创作者能够使用任何兼容的图像模型检查点来动画化内容，在添加运动的同时保留图像模型的视觉风格。
准备好开始创作了吗？
执导场景、设计角色、完成整部影片
一站式 AI 创作平台，定价简单透明，无速度节流，搭配无限 Canvas，让创作发挥到极致。
对比与差异
Compared with related concepts
AnimateDiff 与专用视频生成模型：AnimateDiff 为既有图像模型添加运动能力，保留图像模型的视觉风格，并允许从任何兼容的检查点制作动画。专用视频生成模型在视频数据上端到端训练，通常产出更高的时间一致性以及更长、更复杂的运动序列，但在继承定制图像模型检查点的特定视觉风格方面灵活性较低。
实用提示
在使用 AnimateDiff 进行一致的角色动画时，产出的视觉质量在很大程度上取决于用作视觉骨干的图像模型检查点。选择一个在图像生成阶段就能很好处理你所需角色风格的检查点，会产出比试图在运动生成阶段修正风格问题好得多的动画结果。
类型与变体
AnimateDiff 基础框架可以与任何兼容的 Stable Diffusion 检查点结合，产出继承该检查点视觉风格的动画。专为 AnimateDiff 训练的运动 LoRA 可以应用于使运动特征偏向特定的移动类型，例如横摇、变焦或滚动。AnimateDiff-Lightning 和 AnimateDiff-SDXL 是扩展版本，分别为更快的推理和更高分辨率的产出而调整。社区开发的、采用不同时间注意力配置的运动模块，在生成运动的质量和特征上提供了变化。
准备好在 Morphic 里做第一个场景了吗？
试用 Morphic常见使用场景
用于社交媒体和数字艺术的动画插画循环。用于音乐视频和创意内容的风格一致运动片段。用于前期可视化的概念动画。使用自训练风格模型的角色动画测试。开源社区内的实验性和艺术性 AI 动画项目。
准备好开始创作了吗？
执导场景、设计角色、完成整部影片
一站式 AI 创作平台，定价简单透明，无速度节流，搭配无限 Canvas，让创作发挥到极致。
常见问题（FAQ）
AnimateDiff 是一个开源框架，它通过向图像生成流程添加一个单独训练的运动模块，使文本到图像扩散模型能够生成短小的动画序列。它让图像生成器无需重新训练核心图像模型即可产出时间一致的动画。
AnimateDiff 向预训练的图像生成流程中插入一个运动模块，该模块在视频数据上训练，以学习流畅的逐帧运动的图案。在生成期间，该模块确保每一帧与相邻画面在时间上一致，从而产出平滑的动画序列，而非各自独立的静态图像。
AnimateDiff 产出短小的动画序列，通常长几秒，能够平滑循环。动画的视觉风格继承所用图像模型检查点的美学，运动特征则可以借助运动 LoRA 或调整后的提示描述进一步塑造。
AnimateDiff 为既有图像模型添加运动，保留其视觉风格，并允许从任何兼容的检查点制作动画。专用视频生成模型在视频数据上端到端训练，通常产出更高的时间一致性和更长的运动序列，但在继承定制图像模型的特定视觉风格方面灵活性较低。
AnimateDiff 由香港中文大学的一个研究团队开发，并作为开源项目发布。它在发布后被开源 AI 生成社区广泛使用。
AnimateDiff 与构建于其所设计支持的架构之上的图像模型兼容，主要是 Stable Diffusion 及相关检查点。它可以与 Stable Diffusion 生态系统中的大多数社区检查点和 LoRA 微调配对，使动画产出能够继承广泛的视觉风格。
运动 LoRA 是对 AnimateDiff 运动模块的轻量级微调附加组件，它使生成的运动偏向特定的移动类型，例如摄影机横摇、变焦或滚动运动。它们为创作者提供了对运动特征的额外控制，而无需完整的模型重训练。
AnimateDiff 在开源生态系统中仍然有意义，尤其是对那些需要以与定制图像模型检查点绑定的特定视觉风格来动画化内容的创作者而言。在以与既有图像模型的视觉风格一致性为优先的用例中，它与不同图像模型结合的灵活性，是相对于商业视频生成工具的一项实用优势。
