配音

如何在 Morphic 中把视频或音频录音配音成另一种语言,保留原说话人的声音并同步口型,可在提示栏、通过 Copilot、MCP 或 Direct API 完成。

Morphic 的配音功能可以把视频或音频录音翻译成另一种语言,并用每位原说话人自己的声音说出来。Morphic 会先转写语音,再翻译,然后沿用说话人的表达方式和节奏重新配音,因此配音结果与原片对得上。

返回什么取决于模型。Morphic Dub 返回视频本身,每位说话人的特写镜头口型都与新语音同步。ElevenLabs Dubbing 返回一个新的音频文件,即使你从视频开始也一样。

适用场景

  • 把一集成片、一条广告或一门课程投放到另一个市场,而无需重新生成
  • 让主持人或固定角色这类辨识度高的声音贯穿多种语言
  • 用同一个母版为每个市场各做一个版本

如果想用另一种声音重新朗读,请使用 语音。如果想换成同一语言的另一种声音,请使用 语音转语音。如果需要的是翻译后的字幕而不是新的音频,请使用 转写。

选择模型

模型输入输出语言套餐
Morphic Dub一个视频,最长 10 分钟原视频,已配音,每位说话人保留自己的声音,特写镜头已同步口型没有固定列表;地区版本会用其主要语言配音付费套餐;付费套餐的默认模型
ElevenLabs Dubbing一个音频或视频文件,最长 30 分钟一个新的音频文件,时长与源文件相同100 多种,含地区版本所有套餐;免费套餐的默认模型

视频请选 Morphic Dub。音频文件、超过 10 分钟的视频,或使用免费套餐时,选 ElevenLabs Dubbing。两者都可以接收你自己的 SRT 转写和翻译,代替自行转写和翻译:Morphic Dub 需配合指定声音,ElevenLabs Dubbing 则使用原声并需设置原始语言;见 “配音设置”面板。Morphic Dub 速度较慢:每分钟视频最多需要约 13 分钟,而短片段的用时会超过这一比例,因为它的固定阶段无论时长如何花费都相同。

在提示栏中配音

  1. 在 Morphic 中打开一个文件

  2. 在底部的提示栏中,打开模式选择器,选择“音频”,再选择“配音”

    提示栏的“音频”菜单,列表底部是“配音”

  3. 在提示栏中选择模型:“Morphic Dub”或“ElevenLabs Dubbing”。付费套餐默认使用 Morphic Dub

    配音的模型选择器,Morphic Dub 位于 ElevenLabs Dubbing 旁边

  4. 在“参考”下添加一个文件:上传,或从你的画布或素材中选取。Morphic Dub 接受视频;ElevenLabs Dubbing 接受音频或视频文件

    配音模式下提示栏上方的“参考”卡片,可放入一个视频或一个音频文件

  5. 点击提示栏中的设置图标打开配音设置,然后在“配音为”下选择一种语言。该列表可搜索。ElevenLabs Dubbing 包含地区版本,例如美式英语和阿拉伯语(埃及);Morphic Dub 会用地区版本所属的主要语言来配音

    提示栏上方的配音设置,“配音为”设为西班牙语

    输入“Fren”后的“配音为”列表:Canadian French、French 和 French (France)

  6. (可选)“原始语言”保持“自动检测”,或在录音嘈杂或混用多种语言时手动设置;在 ElevenLabs Dubbing 上使用自带转写时则必须设置。在“保留原词”下,输入不得翻译的名称和术语,用逗号分隔

  7. 点击提示栏中的蓝色按钮。按钮上会显示积分费用,根据你录音的时长计算

配音会出现在你的画布上,时长与源文件相同:Morphic Dub 生成视频,ElevenLabs Dubbing 生成音频文件。生成期间,它的位置上会出现一张卡片,显示“创建中...”和剩余时间。

画布上的法语配音,位于其原始视频旁边

“配音设置”面板

提示栏中的设置图标会打开“配音设置”。选中 Morphic Dub 后,它包含一次配音可以接收的全部内容:

为描述的说话者分配了声音的配音设置,下方是“转录”和“翻译”选择器

设置作用
“配音为”要配音成的语言;该列表可搜索
“原始语言”保持“自动检测”,或在录音嘈杂或混用多种语言时设置语言
“保留原词”翻译时保持原样的名称和术语,用逗号分隔
“声音”默认为“保留原声”,或选择“为每位说话者指定声音”
“转写”你自己的、以所说语言写成的语音 SRT,代替 Morphic 的转写。需要指定声音
“翻译”你自己的、以目标语言写成的台词 SRT,代替 Morphic 的翻译。需要指定声音

选择“为每位说话者指定声音”后,你指定的每个人都会出现一行说话人。在“谁在说话”下选取附加到提示的面部图片或语音片段来指明说话人,或在“描述说话者”下用文字描述此人,例如“穿红夹克的男人”;然后在“选择声音”下从 Morphic 的声音库中为其选择声音。“添加说话者”会新增一行。你没有指明的人会获得一个合适的声音库声音。“转写”和“翻译”选择器列出附加到提示的 SRT 文档;先附上文件,才能在那里选到它。

在 Morphic Dub 上,自带转写或翻译需要指定声音:使用原声时,配音在一次不接收文本的流程中完成,因此这两个选择器保持不可用。各选项的作用和适用时机见 选项。

选中 ElevenLabs Dubbing 后,面板包含“配音为”、“原始语言”、“保留原词”、“转写”和“翻译”;没有“声音”设置,因为每位说话人都保留自己的声音。“转写”接收你自己的、以所说语言写成的语音 SRT,此时必须设置“原始语言”,因为引擎无法从转写中检测语言。当大多数字幕条以说话人标签开头(例如 Mira: …)时,由标签决定谁在何时说话,每位说话人一个声音;没有标签时,所有人都会按同一位说话人配音。选定转写后,“翻译”才会启用,它接收你自己的、以目标语言写成的台词 SRT:每条转写字幕都需要有一条对应的翻译字幕,因为翻译按转写的字幕条计时;只要由 ElevenLabs 翻译,“保留原词”就仍然适用。字幕条必须落在录音范围内;超过 25 秒的字幕条会被拆分。

用 Copilot 配音

  1. 打开 Copilot

  2. 用回形针附上录音

  3. 提出配音请求并说明语言,例如“把这段配音成西班牙语”

    Copilot 输入框,里面是把视频配音成西班牙语的请求

在付费套餐中,Copilot 会用 Morphic Dub 为视频配音,并告诉你预计的等待时间。音频文件、超过 10 分钟的视频,以及免费套餐中的所有配音,都会交给 ElevenLabs Dubbing;如果源文件是视频,Copilot 随后会把配好的音频放回画面上,但口型不会跟随新语音。如果想自己选择,请在请求中写明模型名称。

你还可以在同一个请求里补充:

  • 多种语言:“把这段配音成西班牙语、法语和德语”会为每种语言各生成一个配音,并排显示
  • 源语言:当录音嘈杂或混用多种语言时请写明;否则会自动检测
  • 姓名和术语:列出不得翻译的角色名、地名或产品术语,例如“人名 Mira 和 Halden 保持原样”。不列出的话,姓名可能被逐字翻译
  • 每位说话人一个声音:@ 提及说话人的一帧画面或一段片段以及声音,例如“把这段配音成西班牙语。给 @Image 1 用 @Alice 的声音,其余的挑选合适的声音”。你没有指定的说话人会获得一个合适的声音库声音;Copilot 从 Morphic 的声音库中挑选,而不是从你组织自己的声音中
  • 你自己的转写或翻译:用回形针附上 SRT 并说明它是哪一种,例如“用指定声音把这段配音成西班牙语,以 @interview.en.srt 作为转写”或“按 @interview.es.srt 中的台词来说”。在 Morphic Dub 上,两者都需要指定声音;Copilot 会告诉你这一点,而不是丢弃文件。在 ElevenLabs Dubbing 上,请写明模型和原始语言,例如“在 ElevenLabs Dubbing 上把这段配音成西班牙语;原文是英语,以 @interview.en.srt 作为转写”;翻译需与其转写一起提供

通过 MCP 配音

连接 MCP 服务器 后,用同样的话向你的助手提出请求,或让它调用 dub_media:传入片段的 media_asset_id、以 hi 这类代码表示的 target_language、作为 keyterms 的名称,以及用于选择模型的 model_name: "Morphic Dub" 或 model_name: "ElevenLabs Dubbing"。你自己的 SRT 作为 source_transcript_asset_id 或 translation_asset_id 传入;在 ElevenLabs Dubbing 上,它们旁边需要 source_language,且翻译需与转写一起传入。每种语言是一次调用。调用会返回一个生成任务,由助手等待其完成。

通过 Direct API 配音

POST /v1/direct/tools/dub_media 接收同样的字段,模型以 model_id: "mdl_h2z5a7af7y50" 指定,并返回一个可轮询或通过 webhook 接收的生成任务。Morphic Dub 在启动时扣除估算费用,并按本次运行的实际消耗结算。完整指南(含 curl、Node.js 和 Python 示例)见 通过 Direct API 配音。

限制

项目Morphic DubElevenLabs Dubbing
文件每次配音一个视频每次配音一个音频或视频文件
时长源文件最长 10 分钟源文件最长 30 分钟
语言每次配音一种目标语言。五种语言就是五次配音每次配音一种目标语言。五种语言就是五次配音
输出视频,时长与源文件相同一个音频文件,时长与源文件相同
自带文本SRT 转写、翻译或两者都有,需指定声音SRT 转写,以及与之配套的翻译,需设置原始语言
用时每分钟视频最多约 13 分钟几分钟

费用

配音按源录音的时长收费,因此 2 分钟的片段在每种语言里费用相同。每种语言单独计费。Morphic Dub 的每分钟费用高于 ElevenLabs Dubbing。费用会在运行前显示在蓝色按钮上,当前费率见 套餐与积分。

在 Morphic Dub 上,按钮上的费用是一个估算值:它在配音启动时扣除,完成时按本次运行的实际消耗结算,绝不会超过估算的三倍。失败的配音会退款。

整个文件都会计费,所以想试听声音和姓名时,先截取 20 秒样片来配音。

疑难解答

Copilot 问我要哪种语言

请在请求中写明目标语言。Copilot 从不根据聊天所用的语言来猜测。

配音是音频文件,不是视频

这次配音使用的是 ElevenLabs Dubbing,它始终返回音频。如需口型同步的配音视频,请在付费套餐中选择 Morphic Dub,并使用不超过 10 分钟的视频。如果要保留这段音频配音,你可以让 Copilot 把它放回视频上,或在 Compose 中与剪辑对齐。

某个名字被翻译了

再运行一次,并列出需要保留的姓名和术语:在提示栏的“保留原词”下填写,或在请求中把名字告诉 Copilot。

说话人的面部与任何人都不匹配

你为某位说话人附上的画面中,没有配音在画面上找到的任何人,因此没有为其指定声音,而是像其他人一样配音。请从视频本身截取一帧清晰的正面画面,每张图片一张脸,或改用文字指明说话人(“穿红裙子的女人”)。

设置原始语言

你把自己的转写交给了 ElevenLabs Dubbing,而原始语言仍保持自动检测,引擎无法从转写中检测语言。请设置后再运行一次:配音设置中的“原始语言”、Copilot 请求中写明的语言,或调用中的 source_language。

SRT 的语言不对

转写使用所说的语言,翻译使用目标语言;语言弄反的文件会原样配音,结果就会说错语言,或台词对不上时间点。请检查你把文件交给了哪个选择器或哪个字段,并给两个文件起不同的名字,以免混淆。

配音用时很长

Morphic Dub 的一次运行每分钟视频最多需要约 13 分钟,而固定阶段会让短片段比这一比例更慢:一段 50 秒的片段用了 17 分钟。画布上的卡片会显示剩余时间;Copilot 在启动配音时会告诉你预计的等待时间。

以上就是在 Morphic 上使用配音的方法。当一段成片需要用同样的声音传达到另一种语言时,就用它。


如果您遇到任何问题或有任何疑问,欢迎随时联系我们。我们很乐意提供帮助。请发送邮件至 support@morphic.com.

本页内容