如何用 AI 给视频配音并本地化

在 Morphic 上走完一套完整的 AI 配音流程:转写原片、翻译字幕、重新配音、同步口型、剪辑成片,全程在一个工作空间里完成。

配音,是让一段已经录好的表演走进新的市场。本地化的范围更大,包括字幕、时间点、声音和口型同步。目的是让观众觉得,这条视频就是为他们做的,而不是翻译过来的。这两件事都不是点一下按钮就能完成,而是一串步骤。在 Morphic 上,这些步骤都在同一个地方,视频不用在各个工具之间来回搬。

对做短视频出海的团队来说,这套流程尤其实用。一条视频做好后,可以接着配成英语、日语或印尼语,分发到不同市场。反过来,把海外的视频带给中文观众,同样适用。

本指南只讲 Morphic 实际能做到的事,从头走一遍。依次是转写原片、翻译字幕、重新配音、同步口型和剪辑成片。

AI 配音与本地化包含什么

配音,是把视频里的说话声换成另一种语言或另一个声音,并让它和画面对得上。本地化则在此之外,加上转写文本、翻译字幕和最后的成片剪辑。过去这些环节要分给不同的供应商和工具,包括转写、翻译、配音、口型同步和时间线。现在它们是按顺序执行的步骤,不再是一堆要来回传递的文件。

有两条路线,多数视频只需要第一条:

  • 一步到位,用 Morphic Dub。 在付费方案里,把视频发给 Copilot,说明目标语言即可。Morphic Dub 会翻译台词,让每位说话人用自己的音色说出新语言,并让特写镜头里的口型对上新台词,最后返回配好音的视频。
  • 分步进行,每一步都能检查。 就是下面这套流程。想在配音前先审翻译、想换一个声音,或者手上只有音频文件时,用这条路线。翻译错了、语气不对,在便宜的阶段就能发现。注意,这条路线不会克隆原说话人的声音。语音转语音只是把录音转成目标声音,不会留下原说话人的长期副本。

分步流程

把原片转写成 SRT

先把说话内容变成文字。上传视频,让 Copilot 转写,台词就会变成带时间点、可下载的 SRT,语言会自动识别。这份文本是后面所有步骤的基础,因为之后每一步都依据这些字句和时间点。

为目标市场翻译字幕

把文本翻译成目标语言。得到的字幕与原片的时间点一一对应,配音之前您可以先审阅、修改。文本在这一步写对,后面才不会白费:声音和口型的质量,取决于它们所依据的文字。

重新配音

按您想保留的东西,在两种方式里选一种:

  • 语音转语音会保留原来的表演。它把现有录音换成另一个声音,同时保留这一条的语气、节奏和情绪。原版的演绎本身值得留下时,选它。
  • 文字转语音则是用翻译后的台词重新演绎一遍。改说另一种语言,又希望台词读得自然时,选它。

怎么选,可以看语音转语音与文字转语音对比。

让新配音与画面口型同步

新音频有了,就把它和画面对齐,让嘴型跟上台词。(Morphic Dub 会替您完成这一步,走分步路线时它是单独的一步。)口型同步会把说话人的嘴部动作对齐到新配的音轨,这正是配音不再像“配音”的关键。做完这一步,本地化的版本才像原生拍摄,而不是在原片上贴了一层声音。

在 Compose 时间线上成片

在 Compose 里把素材汇到一起:画面、新音频,需要烧录字幕的话还有字幕。给每段素材设好音量,让人声与音乐、音效配合得当,在需要的地方加转场,然后导出。成片会按目标市场需要的格式输出,整个过程还在您开始的那个地方。

为什么一个工作空间很重要

配音一直很慢,原因并不在某一个步骤,而在步骤之间的交接。文本交给翻译,译稿交给配音供应商,声音回来再交给剪辑。每次交接都会损耗时间,也会丢失上下文。把转写、翻译、配音、口型同步和时间线放进一个工作空间,交接就没有了。素材不用导出、重新上传,也不用反复解释。原本跨多个供应商的活儿,一个下午就能做完。

能看懂视频的音频模型,还会让配音这一步更快。Seed Audio 1.5 会观看完整的成片,返回一版配音,并把原来的音乐和音效留在各自的音轨上。提示词怎么写,见 Seed Audio 1.5 指南。

配音用语音转语音,还是文字转语音

语音转语音文字转语音
起点原始录音翻译后的台词
是否保留原来的表演保留,节奏和情绪会延续下来不保留,由模型重新演绎
适合想把出色的原版表演换成另一个声音把翻译好的文本直接配成新语言

实例:给一部微短剧配音

上面的步骤适用于任何视频,但竖屏短剧最能体现它的价值。这类工作重复量大,对一致性的要求又高。关键做法是给每个角色保存一个声音,在所有目标语言里复用。这样,同一个主角无论在英语、日语还是印尼语的版本里,听上去都是同一个人。接着用 Lip Sync 逐条把每个角色的口型对齐到新台词。批量运行时,一整个往期剧库按语言一次处理完,不必一个文件开一个任务。

想了解工作室级别的做法,包括上百集整季的批量处理、单集成本和质检环节,见给微短剧配音并本地化。

常见问题

能配成哪些语言?支持中文配音吗?

Morphic Dub 可以配成多种语言,每次配音只针对一种语言。语言列表里有中文。分步路线里,转写会自动识别原片语言,字幕可以翻译成目标市场的语言,重新配音则支持英语和其他多种语言。

整个流程要分别用不同的工具吗?

不用。转写、字幕翻译、重新配音、口型同步和 Compose 时间线,都在 Morphic 里。把它们放在一处,就是为了让视频不必在各步之间进进出出,也就没有转写服务、翻译、配音供应商或剪辑师之间的交接。

能一键配音,完全不用管吗?

可以。在付费方案里,Morphic Dub 一步就能把视频变成口型同步的配音版。转写、翻译、配音、同步、成片这条分步路线,则适合想逐步检查结果的时候,翻译错了或语气不对,在便宜的阶段就能发现。

翻译后的字幕能直接烧录进视频吗?

拉丁字母的语言可以:字幕能设置样式并烧录到画面上,也可以导出 SRT,随片一起交付。目前烧录字体只覆盖拉丁字母,所以中文等文字的字幕,建议导出 SRT 文件,在发布平台上传时添加。需要烧录的话,在组装成片的同一条时间线上操作,字幕、音频和画面一次导出。

会保留原来的情绪吗?

用语音转语音重新配音的话,会。它依据的是原始录音,所以这一条的语气、节奏和情绪都会带进新声音。如果改用翻译后的台词做文字转语音,则是重新演绎一遍,情绪取决于您怎么指导这次朗读,而不是从原片延续。原理见语音转语音。

配音用语音转语音还是文字转语音?

原版表演值得保留,想让同样的演绎换成新声音,用语音转语音。要换成另一种语言,想让翻译后的台词读得自然,用文字转语音。很多本地化项目会两种都用。取舍的细节见完整对比。

会克隆原说话人的声音吗?

不会留下任何可复用的东西。Morphic Dub 会按每位说话人自己的声音生成新声音,但这个声音只存在于这一版配音里。语音转语音则只是为这一次任务把录音转成目标声音。两种方式都不会建立一个可重复使用的原说话人副本。

下一条视频能复用这套流程吗?

能。一套配音流程跑通之后,可以存成 Workflow,对下一条视频原样再跑一遍。定下来的本地化流程就成了可以直接运行的东西,不必每次重搭。