AnimateDiff
AnimateDiff 是一种开源框架,为现有文生图扩散模型增加运动生成能力,使静态图像生成器无需重新训练即可产出短动画序列。它通过在既有图像生成流程中插入学习得到的运动模块,使仅用静态图像训练的模型能生成连贯的逐帧运动,从而将图像生成器变成轻量级视频生成器。
技术上,运动模块在视频数据上单独训练,与图像生成主干分离,推理时再接入图像模型。因运动模块独立训练,可与多种图像模型检查点和 LoRA 微调组合,使动画输出继承所用图像模型的视觉风格、角色设计或美学。生成的动画通常为几秒、可平滑循环,适合动画插画、概念循环和风格一致的运动片段。在专用视频生成模型普及前,AnimateDiff 是开源图像生成生态中普及视频生成的重要一步。
对探索 AI 动画流程的创作者而言,AnimateDiff 展示了模块化设计的价值:将运动学习与视觉外观学习分离,便于各组件独立开发与优化。在强图像基础上添加运动的原则持续影响后续 AI 视频生成工具与流程的架构。