OmniHuman 2.0：完整指南

做口播、讲课或唱歌视频，OmniHuman 2.0 只要一张照片。整场表演由你的音频来驱动。它听的不只是发了哪些音，还有每句话怎么说，所以脸上带着音频的情绪。打开声音就能听到。

据 BytePlus 的发布帖，2.0 有三处不同。

你要给它两样东西，第三样可选。多数视频只需要前两样。

照片对结果的影响比任何其他因素都大。模型会保留它看到的东西，所以清晰、光线好的脸，才会得到清晰、光线好的表演。

黏土角色和插画也可以。把脸画清楚，让眼睛和嘴巴一眼能看明白。

音频就是表演，你怎么念，画面里就怎么演。先生成或录好声音，听一遍，再去跑视频。

同一个模型能读出很不一样的语气。耳语、喊叫和大笑，演出来是三种不同的表演。

一个镜头最长可以到 5 分钟。2.0 之前，超过 60 秒就得分段生成再拼接，每个接缝处的脸、光线或背景都可能跳一下。长镜头能避开这个问题，前提是照片和音频在整个时长里都撑得住。

1. 写完整的稿子，一次性生成配音，让语气从头到尾保持一致。
2. 先从头到尾听一遍，把读错的字改掉，再去生成视频。事后再改，整条长镜头就要重跑。
3. 选一张表情平静自然的照片。它要适用于音频里的每一刻，而不只是第一句。
4. 先从稿子中段截 20 秒做测试，再跑完整的长镜头。

表演大部分由音频承担。想要某种特定的动作时，加一句动作指令会有帮助。描述说话的方式，不要复述台词。

BytePlus 发布演示后，有早期观看者发现，人物说话时背景在晃动。音频驱动的模型会生成每一帧的每个像素，而不只是脸，所以照片里的任何东西都可能漂移：说话人身后的人、货架、招牌、花纹。要画的东西越多，能动的地方就越多。

我们在 Morphic 上做了测试：同一张脸，同一句配音，两种背景。在热闹咖啡馆的版本里，她身后的人会自己转头走动，背景逐帧变化的幅度大约是纯色墙版本的 2.3 倍。

保持背景静止，分五步：

1. 用纯色或虚化的背景。手上只有杂乱的照片时，先把背景改成纯色墙，人物保持不变。上面的纯色版本就是这样做出来的。
2. 画面里只留一张脸。把别人裁掉或去掉，虚化的、在边缘的也一样。
3. 人物身后避免细节：文字、瓷砖、摆满小物件的架子、串灯。
4. 在动作指令里加上“背景保持静止”。
5. 长镜头里某一段仍然漂移，就单独重跑那一段，再剪回去。剪在说话的停顿处，最不容易被看出来。

我们的测试用的是 Morphic 上的 Veed Fabric，因为 OmniHuman 2.0 还没有上线 Morphic。任何靠一张照片画出整个画面的模型，原因都一样，所以这些办法同样适用。

两者都能把一张照片和一段音频变成说话视频。Veed Fabric 今天已在 Morphic 上线，本指南里的所有示例都是用它做的。OmniHuman 2.0 即将上线。

1. 打开 Copilot，附上一张人脸清晰、背景干净的照片。
2. 附上你的配音或歌曲音轨。也可以先把口播稿交给 Copilot，让它生成配音。
3. 让它用 Veed Fabric 生成说话视频，加一句简短的动作指令，然后下载成片，或在编辑器里打开继续处理。