Morphic Dub
Morphic Dub 可把视频配音成另一种语言,每位说话者都以自己的声音重新配音,特写镜头同步口型,并返回视频本身。
Morphic Dub 是 Morphic 自研的配音模型。它接收一个带语音的视频,把其中的话翻译成另一种语言,然后返回同一个视频、同样的时长,每位说话者都以自己的声音重新配音,特写镜头的口型与新语音同步。原有的音乐和音效会保留在新配音之下。它是付费套餐的默认配音模型,而且速度较慢:每分钟视频最多需要约 13 分钟。
这是一个关于如何在 Morphic 上使用 Morphic Dub 的快速教程:
如何在 Morphic 上使用 Morphic Dub
- 在 Morphic 的项目中打开一个新文件或现有文件
- 将底部提示栏中的模式切换为“音频”,然后选择“配音”
- 点击模型选择器,选择“Morphic Dub”。付费套餐默认就是它
- 在“参考”下添加视频,在设置中的“配音为”下设置语言,然后点击提示栏中的蓝色按钮
也可以把它作为工具打开:点击提示栏上方的“工具”,选择工具库中排在第一位的“Morphic Dub”。提示栏会切换为 Morphic Dub 上的“配音”,并要求添加视频;附加视频后,设置会打开,供你选择语言。参见 探索工具。
你也可以向 Copilot 请求配音,或通过 MCP 服务器 和 Direct API 调用它。下面的完整示例会在每个入口上运行同一个配音。
操作的用途
| 操作 | 用于 |
|---|---|
| 配音 | 把一部成片带入另一种语言,保留每位说话者的声音,并同步画面中的口型 |
Morphic Dub 只有一个操作,也没有提示词:视频、目标语言和设置就是整个请求。对于音频文件、超过 10 分钟的视频或免费套餐上的配音,Morphic 会改由 ElevenLabs Dubbing 处理,它返回一个音频文件;参见 配音。
规格
| 规格 | 详细信息 |
|---|---|
| 输入 | 一个带语音的视频,最长 10 分钟 |
| 输出 | 同一个视频,同样的时长,已配音;说话者的特写镜头已同步口型 |
| 声音 | 每位说话者保留自己的声音,整段片段中每人一个声音;或为每位说话者指定一个声音库中的声音,见 选项 |
| 自带文本 | 可选:你自己的 SRT 转写、你自己的 SRT 翻译,或两者都有,需配合指定声音 |
| 目标语言 | 每次配音一种;没有固定列表。像“阿拉伯语(埃及)”这样的地区变体会用其主要语言配音 |
| 源语言 | 自动检测,或在音频嘈杂或混用多种语言时手动设置 |
| 音乐和音效 | 原有的音乐和音效保留在新配音之下,时间点和音量与原片一致 |
| 名称和术语 | 需要保留原词的人名、地名和品牌,每项最多 5 个词 |
| 用时 | 每分钟视频最多约 13 分钟;短片段的用时会超过这一比例,见下文 |
| 套餐 | 付费套餐 |
完整示例:保留人名的印地语配音
在每个入口上发出同一个请求:把一段简短的采访片段配音成印地语,并保留人名 Arjun 和 Meera 不变。
在聊天中
- 打开 Copilot,用回形针附上片段
- 发送“把这段视频配音成印地语,人名 Arjun 和 Meera 保持原样”
- Copilot 会运行 Morphic Dub,并告诉你预计的等待时间。完成后,配好音的视频会出现在聊天中和你的项目里
在画布上
- 在你的项目中打开一个文件,把提示栏切换为“音频”,再选择“配音”
- 在模型选择器中选择“Morphic Dub”
- 在“参考”下,从你的画布、素材或上传中添加片段
- 打开“配音设置”面板,把“配音为”设为“印地语”,“原始语言”保持“自动检测”,并在“保留原词”下输入
Arjun, Meera - 点击蓝色按钮。它会显示根据片段时长算出的预计积分
配音运行期间,画布上它的位置会出现一张卡片,显示“创建中...”和剩余时间。
通过 MCP
向你的助手提出同样的请求,或让它调用 dub_media:
{
"media_asset_id": "01928f4e-…",
"target_language": "hi",
"keyterms": ["Arjun", "Meera"],
"model_name": "Morphic Dub",
"project_id": "01928f4e-…"
}media_asset_id 是片段的 ID,来自 list_assets 或一次已完成的生成。在付费套餐中省略 model_name,视频同样会交给 Morphic Dub。
通过 Direct API
Morphic Dub 的模型 ID 是 mdl_h2z5a7af7y50。调用会返回一个可供轮询的生成任务;第一次轮询值得多等一会儿,因为一次配音大约需要片段时长的 13 倍。
curl -s https://mcp.morphic.com/v1/direct/tools/dub_media \
-H "Authorization: Bearer $MORPHIC_API_KEY" \
-H "Content-Type: application/json" \
-d '{"input": {"media_asset_id": "https://cdn.example.com/interview.mp4", "target_language": "hi", "keyterms": ["Arjun", "Meera"], "model_id": "mdl_h2z5a7af7y50", "project_id": "01928f4e-…"}}'响应带有 result.generation_id 和 result.estimated_credits,即启动时扣除的估算费用,以及 credits_settle_on_output_duration: true。使用长等待进行轮询:
sleep 660 # a 50 s clip: about 13 times its length
curl -s "https://mcp.morphic.com/v1/direct/generations/$GENERATION_ID?wait=45" \
-H "Authorization: Bearer $MORPHIC_API_KEY"当生成任务变为 succeeded 时,它的 assets 中就是配好音的视频,billing.credits_charged 是结算后的金额。完整指南(含 Node.js 和 Python 版本、消费前报价以及 webhook)见 通过 Direct API 配音。
选项
默认情况下,每个人都保留自己的声音,并由 Morphic 自行转写和翻译语音。有三个选项可以改变这一点。声音选项仅在 Morphic Dub 上可用,而在 Morphic Dub 上,任何自带文本都需要指定声音,因为原声是在一次既不接收演员表也不接收文本的流程中配音的:带原声的转写或翻译目前尚不支持。ElevenLabs Dubbing 也会读取转写和翻译选项,使用原声并需设置原始语言;见 “配音设置”面板。
保留原声
默认值,voice_mode: "original":每位说话者都用自己声音的克隆重新配音,整段片段中每人一个声音。无需设置。
- 聊天:“把这段配音成西班牙语”即可
- API:省略
voice_mode,或发送"voice_mode": "original"
为每位说话者指定声音
voice_mode: "assigned" 让每个人改用 Morphic 声音库中的声音说话,而不是自己的声音。用一张面部图片、一段此人说话的片段,或像“旁白”这样的简短描述来指明说话者,并为每位说话者搭配一个声音库中的声音。你没有指明的说话者会被挑选一个合适的声音库声音,所以你可以只为一位主角选定声音,其余的交给 Morphic。这个声音库就是 Studio 中“配音设置”面板的声音选择器所显示的那个,也是通过 MCP 和 Direct API 以 Morphic Dub 为模型调用 list_voices 所返回的那个;组织自己的声音不能指定给说话者。
- 聊天:附上说话者的一帧画面,然后“把这段配音成西班牙语。给 @Image 1 用 @Alice 的声音;其余的挑选合适的声音”
- API:
{
"media_asset_id": "01928f4e-…",
"target_language": "es",
"voice_mode": "assigned",
"voices": [
{ "speaker_asset_id": "01928f4e-…", "voice_id": "0192b1c0-…" },
{ "speaker_description": "the narrator", "voice_id": "0192b1c1-…" }
],
"model_id": "mdl_h2z5a7af7y50",
"project_id": "01928f4e-…"
}每个 voices 条目通过 speaker_asset_id(此人的面部图片或音频片段)或 speaker_description(几个词,不含 ;、= 或 ")二者之一指明说话者,并带上来自 list_voices 的 voice_id。最多 20 位说话者,每位只指明一次。通过 MCP 时,模型字段是 model_name: "Morphic Dub"。
自带转写
给 Morphic 一份带时间轴、以所说语言写成的语音 SRT,它就会按你的台词配音,而不是自行转写。当人名、行话或多人交谈让自动转写不可靠时使用。它需要指定声音。
- 聊天:用回形针附上 SRT,然后“用指定声音把这段配音成西班牙语,以 @transcript.srt 作为转写”
- API:在
"voice_mode": "assigned"旁加上"source_transcript_asset_id": "https://cdn.example.com/interview.en.srt"
自带翻译
给 Morphic 一份带时间轴、以目标语言写成的台词 SRT,它就会说出你的翻译,而不是自己生成一份。当剧本已经翻译并审定时使用。它需要指定声音,而且文件使用的是目标语言,不是所说的语言。
- 聊天:附上 SRT,然后“用指定声音把这段配音成西班牙语;按 @interview.es.srt 中的台词来说”
- API:在
"voice_mode": "assigned"旁加上"translation_asset_id": "https://cdn.example.com/interview.es.srt"
两者可以同时发送:所说语言的转写和目标语言的翻译,作为两个不同的文件。
需要多长时间
一次配音每分钟视频最多需要约 13 分钟,所以请按这个等待时间来安排,而不是盯着它:一段 2 分钟的片段可能需要 25 分钟。短片段的用时会超过这一比例,因为固定阶段(找出说话者、把语音与其他声音分离)无论时长如何花费都相同:一段 50 秒的片段用了 17 分钟。比这更长的配音,用时不会增长得那么快。
提示技巧
- 用文字或语言代码写明语言;每次配音一种语言。要面向多个市场,在同一个请求中逐一提出,它们会并排运行
- 列出每一个必须保留原词的人名、地名和品牌。不列出的话,名字可能被逐字翻译
- 当片段嘈杂或中途切换语言时,自己设置原始语言;否则保持自动检测
- 要测试一段片段,先截取 20 秒样片来配音。整个文件都会计费,而短片段几分钟就能完成,而不是几小时
- 配音前先锁定剪辑:配音以剪辑为准,之后再改动就意味着要重新配音
积分
Morphic Dub 按源视频的时长、每种语言计费:根据你的套餐,每分钟约 676 到 825 积分,运行前蓝色按钮上会显示估算。估算费用在配音启动时扣除,完成时按本次运行的实际消耗结算。结算金额可能低于或高于估算,但绝不会超过估算的三倍。失败的配音会退款。费率见 套餐与积分。
如果您遇到任何问题或有任何疑问,欢迎随时联系我们。我们很乐意提供帮助。请发送邮件至 support@morphic.com.