帧生成视频
帧生成视频是什么?
帧生成视频以你提供的静止图像作为起点与终点,并使用 AI 生成它们之间的运动与动作,从而把你的图像转化为一段视频片段。
一图看懂
- 别称
- 关键帧动画图像生成视频工作流关键帧驱动的视频生成
- 主要用途
- 从概念美术或故事板创建视频在 AI 视频中保持对特定时刻的视觉掌控以精确构图目标为静止图像制作动画
- 常用工具
- Kling AIRunwayPikaMorphicStable video diffusion
- 相关术语
- Image to videoKeyframeFrame interpolationStoryboardAI video generation
准备好开始创作了吗?
执导场景、设计角色、完成整部影片
一站式 AI 创作平台,定价简单透明,无速度节流,搭配无限 Canvas,让创作发挥到极致。
对比与差异
Compared with related concepts
帧生成视频与文本生成视频:文本生成视频完全从文本提示词描述产出视频,赋予 AI 对输出每个视觉时刻完全的创作自由度。帧生成视频则通过在确定的时间位置提供特定视觉目标来约束输出,降低创作自由度但提升构图精确性与掌控力。文本生成视频更适合在尚未预先确定特定视觉结果时进行探索性生成。帧生成视频更适合创作者拥有必须在序列关键时刻得到尊重的特定视觉参考的情形。
可以这样理解…
把帧生成视频想象成请人制作一部短片,你可以选定第一张和最后一张照片,但中间发生的一切由这位电影人决定。你递给他一张某人在日出时分站在海滩上的照片,再递上第二张照片,是同一个人在日落时分站在同一地点,电影人便会生成这两个时刻之间一天流逝的全部画面。你掌控了开头与结尾必须成立的内容;AI 想出了一种从一端到另一端的合理方式。这正是帧生成视频所做的:它尊重你的视觉锚点,并发明出两者之间的旅程。
实用提示
要获得最佳的帧生成视频结果,请确保所提供的关键帧共享一致的灯光方向、配色与透视。视觉属性差异巨大的关键帧(不同的灯光角度、不相容的色温、不一致的主体比例)会让模型更难生成流畅的过渡,并可能产出突兀或物理上不合理的运动。在用作帧生成视频输入之前,使用同一个 AI 图像生成模型与提示词结构来生成关键帧,是确保视觉一致性的有效方法。
类型与变体
首帧到末帧生成提供一张起始图像与一张结束图像,由 AI 生成两者之间的完整过渡。仅首帧生成提供一张起始图像,允许 AI 自由生成后续运动,由描述所需运动的文本提示词引导。多关键帧生成提供一系列处于确定时间位置的图像,由 AI 生成每对相邻关键帧之间的运动。循环生成从单张图像创建无缝视频循环,通过生成回到起始状态的运动实现,适合用于氛围与背景视频内容。
准备好在 Morphic 里做第一个场景了吗?
试用 Morphic常见使用场景
故事板动态预览使用帧生成视频,从静态故事板画格创建粗略的运动序列,在完成全套制作动画之前提供视觉时序参考。概念美术演示使用该技法为环境或角色设计制作动画,让静态作品活起来,供客户或导演审阅。社交媒体创作者将人像照片、产品图像或插画作品制作成短视频片段。电影与广告的前期制作使用帧生成视频,在投入实拍或全套动画制作之前,从关键构图参考出发对镜头运动与过渡进行原型测试。
准备好开始创作了吗?
执导场景、设计角色、完成整部影片
一站式 AI 创作平台,定价简单透明,无速度节流,搭配无限 Canvas,让创作发挥到极致。
常见问题(FAQ)
帧生成视频是一种 AI 视频生成工作流,它以所提供的静止图像作为关键帧(处于特定时间位置的视觉锚点),并合成它们之间的运动与过渡,以产出流畅的视频片段。它赋予创作者对特定视觉时刻的构图掌控,同时将运动生成的时间维度委托给 AI 模型。
图像生成视频通常指从单张起始图像生成视频,由 AI 在文本提示词引导下决定后续所有运动。帧生成视频更具体地指使用多张图像作为处于确定位置的关键帧的工作流,由 AI 生成每对相邻关键帧之间的运动。两者都是图像条件视频生成这一更广义范畴内相关的方法。
最适合帧生成视频的关键帧图像共享一致的视觉属性:相容的灯光方向与质感、匹配的透视与比例、协调的配色,以及各关键帧状态之间物理上合理的空间关系。视觉差异过大的图像(完全不同的灯光、不相容的视角、截然不同的主体位置)会让模型难以在它们之间生成流畅、物理上合理的过渡。
AI 生成的图像经常被用作关键帧,且往往效果很好,因为从相似提示词生成的图像往往共享一致的视觉属性(灯光、配色、美术风格),使它们成为运动合成的相容输入。在用于帧生成视频工作流之前,使用同一个基础模型与一致的提示词结构来生成所有关键帧图像,是确保视觉相容性的有效做法。
多个 AI 视频生成平台支持帧生成视频工作流,关键帧控制程度各有不同。包括 Kling AI、Runway、Pika 与 Stable Video Diffusion 在内的工具提供了图像条件视频生成的各种变体。具体能力(支持多少关键帧、输出必须多贴合所提供的帧、运动风格如何引导)因平台而异,并随技术进步持续发展。
大多数帧生成视频工具允许通过文本提示词引导运动风格,描述所需过渡的性质:缓慢的镜头推进、戏剧性的环境变化、角色从左走到右。一些工具提供运动强度或贴合度参数,用以控制所生成的运动多贴近所提供的关键帧,以及模型在合成过渡时有多大创作自由度。针对具体用途反复试验这些参数,是校准运动风格最可靠的方式。
帧生成视频共享关键帧动画的概念原则:在特定点定义视觉状态,并生成其间的内容;但在关键帧之间的内容如何创建上根本不同。传统关键帧动画涉及美术师手工创建每一个中间帧,或通过数学插值的参数曲线生成。帧生成视频使用 AI 合成视觉上流畅的运动,无需手工创建中间帧,使过程快得多,但对所产出的确切运动控制不那么精确。
一些帧生成视频工具支持循环生成,所提供的图像既是生成片段的起始帧也是结束帧,由 AI 合成自然回到起始状态的运动,以创建无缝循环视频。这对于氛围视频内容、背景循环以及希望持续循环的社交媒体内容很有用。无缝循环的质量因工具而异,通常对具有自然循环运动潜力的主体效果最佳。