动作迁移
动作迁移是什么?
动作迁移从一段视频中提取运动(一个人如何行走、跳舞或移动),并将这一精确的运动模式应用到另一个 AI 生成的角色或主体上。
一图看懂
- 别称
- 姿态迁移姿态引导的视频生成运动条件化生成参考运动动画
- 主要用途
- 使用真实世界运动参考为 AI 生成角色制作动画将舞蹈、运动或表演动作应用于合成主体无需手工关键帧或现场动作捕捉即可制作角色动画将演员表演迁移到不同的视觉角色上
- 常用工具
- ControlNet (pose conditioning)AnimateDiffRunway gen-3Kling motion reference featuresMorphic motion transfer tools
- 相关术语
- ControlNetPose estimationAnimateDiffImage-to-videoKeyframeCharacter consistency
- How it works in simple terms
- AI 逐帧分析参考视频,提取运动主体的骨架与姿态序列。然后它以这些姿态为引导,生成一段新视频,其中一个不同的角色(由外观参考或描述定义)执行相同的运动序列。
- Where you encounter this
- 动作迁移功能出现在包括 Runway、Kling 与 Morphic 视频生成工具在内的 AI 视频平台中,也出现在基于 ControlNet 与 AnimateDiff 构建的开源工作流中。它正日益成为专业 AI 视频制作流程中的标准功能。
准备好开始创作了吗?
执导场景、设计角色、完成整部影片
一站式 AI 创作平台,定价简单透明,无速度节流,搭配无限 Canvas,让创作发挥到极致。
对比与差异
Compared with related concepts
动作迁移与传统动作捕捉相关但截然不同。动作捕捉使用物理传感器套装、标记点阵列或光学追踪,在可控制作环境中记录真实表演者的运动数据,以便随后应用于数字角色。动作迁移使用任意现有视频素材作为输入,运用计算机视觉在无物理传感器的情况下提取运动,并生成新的视频输出,而非产生可绑定的动画数据。动作迁移借助消费级硬件与标准视频输入即可使用;传统动作捕捉则需要专业设备、工作室与制作基础设施。
可以这样理解…
动作迁移就像在一位舞者的动作上覆盖一张透明的描图纸,捕捉每一个姿态与过渡的图案,然后把这套图案揭下来铺到一个完全不同的人物身上:于是新人物以与原作相同的节奏、韵律与身体力学运动,外观却截然不同。
实用提示
在使用动作迁移时,源参考视频的质量会显著影响迁移运动的质量。请选择身体清晰可见、无遮挡、光照一致、单一主体占据画面大部分、摄影机运动相对稳定的参考素材。复杂的多人场景、严重的遮挡(肢体相互交叠)、快速或混乱的运动,以及不稳定的手持摄影机运动,都会降低姿态提取的准确性并劣化迁移质量。清晰、光照良好、单一主体的参考素材能产生最可靠、最可控的动作迁移结果。
类型与变体
基于骨架的动作迁移使用提取出的姿态骨架作为条件控制信号,迁移身体结构与运动,同时允许对主体进行完全的视觉重塑。基于稠密流的迁移使用像素级运动矢量以获得更精细的运动细节,但计算开销更大。视频到视频的动作迁移将源视频的运动应用于新的视频生成,使运动与视觉上下文得以同时改变。面部动作迁移专门将面部运动与表情从源迁移到目标面部,实现说话头像生成与面部动画。物体动作迁移仍是新兴能力,将动作迁移扩展到类人主体之外的物体与非角色元素。
准备好在 Morphic 里做第一个场景了吗?
试用 Morphic常见使用场景
动作迁移用于 AI 视频制作,以参考表演素材为角色制作动画;用于内容创作,将爆款舞蹈潮流应用于品牌或风格化角色;用于教育与培训,以自定义角色可视化运动技术或动作教学;用于视觉开发,在制作前预览编舞或身体表演在特定角色上的呈现效果;用于电影与广告,无需传统动作捕捉的成本与统筹即可制作角色动画;以及任何须在生成角色中复现特定运动质感的 AI 生成场景。
准备好开始创作了吗?
执导场景、设计角色、完成整部影片
一站式 AI 创作平台,定价简单透明,无速度节流,搭配无限 Canvas,让创作发挥到极致。