视频生视频(Video-to-Video)
视频生视频(Video-to-Video)是什么？
视频生视频以一段既有视频片段作为 AI 生成的引导,保留原片的运动与结构,同时变换它看上去的样子。
一图看懂
- 别称
- Vid2vid视频风格迁移参考视频生成
- 主要用途
- 把视觉风格施加到既有素材上把真实素材用作 AI 生成的运动参考对先前的 AI 生成进行风格再处理从粗糙的参考视频生成一致的运动
- Key features
- 把生成条件化在输入视频的运动与结构上保留源素材的时间信息条件强度控制对源素材的遵循程度在视频输入之外支持文字与图像提示
准备好开始创作了吗？
执导场景、设计角色、完成整部影片
一站式 AI 创作平台，定价简单透明，无速度节流，搭配无限 Canvas，让创作发挥到极致。
对比与差异
Compared with related concepts
视频生视频与文生视频生成放在一起对比最有意义。文生视频从一段文字描述出发,从零生成运动与视觉外观,给予创作者对叙事与概念方向的完全控制,但对精确运动的控制有限。视频生视频把运动规范转移到输入素材上,以牺牲运动设计中部分创作自由为代价,换取精确的时间控制。两种方式互补:文生视频适合初期构想与新内容的生成;视频生视频适合精修、风格再处理,以及把既有或参考素材整合进 AI 视觉处理之中。
可以这样理解…
视频生视频的工作方式像传统动画中的转描(rotoscoping):以既有的拍摄运动作为骨架,在其之上绘制新的视觉内容。底层运动借自现实或先前的作品;生成所添加的,是表层、风格,以及这一运动如今所栖身的视觉世界。正如转描动画师描摹表演者运动的弧线、再将其渲染为一个动画角色,视频生视频生成描摹源素材的时间结构、再将其渲染到一个新的视觉语域之中。
实用提示
对于视频生视频工作流,源素材作为运动引导的质量,远比它视觉上的精致程度更重要。专门为捕捉所需运动而拍摄的粗糙代用素材(哪怕是用手机、用替身充当),往往比试图在文字提示中描述复杂运动产出更好的结果。把你想要的运动拍下来,再用视频生视频把它渲染到你正在构建的视觉世界里。这种“代用素材优先”的做法,对于复杂的角色运动、特定的镜头轨迹,以及文字提示无法可靠指定的物理互动尤其有效。
类型与变体
视频生视频涵盖若干各有区别的工作流类型。全画面风格迁移把审美变换施加到整段视频上,在保留构图与运动的同时替换视觉处理。结构引导生成使用从源视频中提取的边缘图、深度图或光流作为条件信号,在不带原片完整视觉内容的情况下,把结构信息提供给生成模型。参考运动生成从源素材中提取运动数据,用来驱动完全不同的视觉主体:例如,把一名被拍摄的舞者的运动应用到一个 AI 生成的角色上。修补(inpainting)变体则只把视频生视频变换施加到画框中选定的区域,使原素材的其余部分保持完整。
准备好在 Morphic 里做第一个场景了吗？
试用 Morphic常见使用场景
视频生视频被用于范围广泛的制作场景。广告制作用它把实拍素材变换为面向社交媒体活动的风格化视觉处理。动画制作用真实参考素材作为 AI 角色动画的运动引导。独立创作者用它把电影化视觉风格施加到手机拍摄的素材上。AI 电影人用它对此前那些运动很好、但视觉质感不尽人意的 AI 生成进行风格再处理。在音乐录影带制作中,视频生视频常被用来把直白的表演素材变换为视觉上独具一格的 AI 处理内容,同时不失去表演节奏与音乐之间的同步关系。
准备好开始创作了吗？
执导场景、设计角色、完成整部影片
一站式 AI 创作平台，定价简单透明，无速度节流，搭配无限 Canvas，让创作发挥到极致。
