Morphic Dub

Morphic Dub 可把视频配音成另一种语言,每位说话者都以自己的声音重新配音,特写镜头同步口型,并返回视频本身。

Morphic Dub 是 Morphic 自研的配音模型。它接收一个带语音的视频,把其中的话翻译成另一种语言,然后返回同一个视频、同样的时长,每位说话者都以自己的声音重新配音,特写镜头的口型与新语音同步。原有的音乐和音效会保留在新配音之下。它是付费套餐的默认配音模型,而且速度较慢:每分钟视频最多需要约 13 分钟。

这是一个关于如何在 Morphic 上使用 Morphic Dub 的快速教程:

如何在 Morphic 上使用 Morphic Dub

  1. 在 Morphic 的项目中打开一个新文件或现有文件
  2. 将底部提示栏中的模式切换为“音频”,然后选择“配音”
  3. 点击模型选择器,选择“Morphic Dub”。付费套餐默认就是它
  4. 在“参考”下添加视频,在设置中的“配音为”下设置语言,然后点击提示栏中的蓝色按钮

也可以把它作为工具打开:点击提示栏上方的“工具”,选择工具库中排在第一位的“Morphic Dub”。提示栏会切换为 Morphic Dub 上的“配音”,并要求添加视频;附加视频后,设置会打开,供你选择语言。参见 探索工具。

你也可以向 Copilot 请求配音,或通过 MCP 服务器 和 Direct API 调用它。下面的完整示例会在每个入口上运行同一个配音。

操作的用途

操作用于
配音把一部成片带入另一种语言,保留每位说话者的声音,并同步画面中的口型

Morphic Dub 只有一个操作,也没有提示词:视频、目标语言和设置就是整个请求。对于音频文件、超过 10 分钟的视频或免费套餐上的配音,Morphic 会改由 ElevenLabs Dubbing 处理,它返回一个音频文件;参见 配音。

规格

规格详细信息
输入一个带语音的视频,最长 10 分钟
输出同一个视频,同样的时长,已配音;说话者的特写镜头已同步口型
声音每位说话者保留自己的声音,整段片段中每人一个声音;或为每位说话者指定一个声音库中的声音,见 选项
自带文本可选:你自己的 SRT 转写、你自己的 SRT 翻译,或两者都有,需配合指定声音
目标语言每次配音一种;没有固定列表。像“阿拉伯语(埃及)”这样的地区变体会用其主要语言配音
源语言自动检测,或在音频嘈杂或混用多种语言时手动设置
音乐和音效原有的音乐和音效保留在新配音之下,时间点和音量与原片一致
名称和术语需要保留原词的人名、地名和品牌,每项最多 5 个词
用时每分钟视频最多约 13 分钟;短片段的用时会超过这一比例,见下文
套餐付费套餐

完整示例:保留人名的印地语配音

在每个入口上发出同一个请求:把一段简短的采访片段配音成印地语,并保留人名 Arjun 和 Meera 不变。

在聊天中

  1. 打开 Copilot,用回形针附上片段
  2. 发送“把这段视频配音成印地语,人名 Arjun 和 Meera 保持原样”
  3. Copilot 会运行 Morphic Dub,并告诉你预计的等待时间。完成后,配好音的视频会出现在聊天中和你的项目里

在画布上

  1. 在你的项目中打开一个文件,把提示栏切换为“音频”,再选择“配音”
  2. 在模型选择器中选择“Morphic Dub”
  3. 在“参考”下,从你的画布、素材或上传中添加片段
  4. 打开“配音设置”面板,把“配音为”设为“印地语”,“原始语言”保持“自动检测”,并在“保留原词”下输入 Arjun, Meera
  5. 点击蓝色按钮。它会显示根据片段时长算出的预计积分

配音运行期间,画布上它的位置会出现一张卡片,显示“创建中...”和剩余时间。

通过 MCP

向你的助手提出同样的请求,或让它调用 dub_media:

{
  "media_asset_id": "01928f4e-…",
  "target_language": "hi",
  "keyterms": ["Arjun", "Meera"],
  "model_name": "Morphic Dub",
  "project_id": "01928f4e-…"
}

media_asset_id 是片段的 ID,来自 list_assets 或一次已完成的生成。在付费套餐中省略 model_name,视频同样会交给 Morphic Dub。

通过 Direct API

Morphic Dub 的模型 ID 是 mdl_h2z5a7af7y50。调用会返回一个可供轮询的生成任务;第一次轮询值得多等一会儿,因为一次配音大约需要片段时长的 13 倍。

curl -s https://mcp.morphic.com/v1/direct/tools/dub_media \
  -H "Authorization: Bearer $MORPHIC_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"input": {"media_asset_id": "https://cdn.example.com/interview.mp4", "target_language": "hi", "keyterms": ["Arjun", "Meera"], "model_id": "mdl_h2z5a7af7y50", "project_id": "01928f4e-…"}}'

响应带有 result.generation_id 和 result.estimated_credits,即启动时扣除的估算费用,以及 credits_settle_on_output_duration: true。使用长等待进行轮询:

sleep 660   # a 50 s clip: about 13 times its length
curl -s "https://mcp.morphic.com/v1/direct/generations/$GENERATION_ID?wait=45" \
  -H "Authorization: Bearer $MORPHIC_API_KEY"

当生成任务变为 succeeded 时,它的 assets 中就是配好音的视频,billing.credits_charged 是结算后的金额。完整指南(含 Node.js 和 Python 版本、消费前报价以及 webhook)见 通过 Direct API 配音。

选项

默认情况下,每个人都保留自己的声音,并由 Morphic 自行转写和翻译语音。有三个选项可以改变这一点。声音选项仅在 Morphic Dub 上可用,而在 Morphic Dub 上,任何自带文本都需要指定声音,因为原声是在一次既不接收演员表也不接收文本的流程中配音的:带原声的转写或翻译目前尚不支持。ElevenLabs Dubbing 也会读取转写和翻译选项,使用原声并需设置原始语言;见 “配音设置”面板。

保留原声

默认值,voice_mode: "original":每位说话者都用自己声音的克隆重新配音,整段片段中每人一个声音。无需设置。

  • 聊天:“把这段配音成西班牙语”即可
  • API:省略 voice_mode,或发送 "voice_mode": "original"

为每位说话者指定声音

voice_mode: "assigned" 让每个人改用 Morphic 声音库中的声音说话,而不是自己的声音。用一张面部图片、一段此人说话的片段,或像“旁白”这样的简短描述来指明说话者,并为每位说话者搭配一个声音库中的声音。你没有指明的说话者会被挑选一个合适的声音库声音,所以你可以只为一位主角选定声音,其余的交给 Morphic。这个声音库就是 Studio 中“配音设置”面板的声音选择器所显示的那个,也是通过 MCP 和 Direct API 以 Morphic Dub 为模型调用 list_voices 所返回的那个;组织自己的声音不能指定给说话者。

  • 聊天:附上说话者的一帧画面,然后“把这段配音成西班牙语。给 @Image 1 用 @Alice 的声音;其余的挑选合适的声音”
  • API:
{
  "media_asset_id": "01928f4e-…",
  "target_language": "es",
  "voice_mode": "assigned",
  "voices": [
    { "speaker_asset_id": "01928f4e-…", "voice_id": "0192b1c0-…" },
    { "speaker_description": "the narrator", "voice_id": "0192b1c1-…" }
  ],
  "model_id": "mdl_h2z5a7af7y50",
  "project_id": "01928f4e-…"
}

每个 voices 条目通过 speaker_asset_id(此人的面部图片或音频片段)或 speaker_description(几个词,不含 ;、= 或 ")二者之一指明说话者,并带上来自 list_voices 的 voice_id。最多 20 位说话者,每位只指明一次。通过 MCP 时,模型字段是 model_name: "Morphic Dub"。

自带转写

给 Morphic 一份带时间轴、以所说语言写成的语音 SRT,它就会按你的台词配音,而不是自行转写。当人名、行话或多人交谈让自动转写不可靠时使用。它需要指定声音。

  • 聊天:用回形针附上 SRT,然后“用指定声音把这段配音成西班牙语,以 @transcript.srt 作为转写”
  • API:在 "voice_mode": "assigned" 旁加上 "source_transcript_asset_id": "https://cdn.example.com/interview.en.srt"

自带翻译

给 Morphic 一份带时间轴、以目标语言写成的台词 SRT,它就会说出你的翻译,而不是自己生成一份。当剧本已经翻译并审定时使用。它需要指定声音,而且文件使用的是目标语言,不是所说的语言。

  • 聊天:附上 SRT,然后“用指定声音把这段配音成西班牙语;按 @interview.es.srt 中的台词来说”
  • API:在 "voice_mode": "assigned" 旁加上 "translation_asset_id": "https://cdn.example.com/interview.es.srt"

两者可以同时发送:所说语言的转写和目标语言的翻译,作为两个不同的文件。

需要多长时间

一次配音每分钟视频最多需要约 13 分钟,所以请按这个等待时间来安排,而不是盯着它:一段 2 分钟的片段可能需要 25 分钟。短片段的用时会超过这一比例,因为固定阶段(找出说话者、把语音与其他声音分离)无论时长如何花费都相同:一段 50 秒的片段用了 17 分钟。比这更长的配音,用时不会增长得那么快。

提示技巧

  • 用文字或语言代码写明语言;每次配音一种语言。要面向多个市场,在同一个请求中逐一提出,它们会并排运行
  • 列出每一个必须保留原词的人名、地名和品牌。不列出的话,名字可能被逐字翻译
  • 当片段嘈杂或中途切换语言时,自己设置原始语言;否则保持自动检测
  • 要测试一段片段,先截取 20 秒样片来配音。整个文件都会计费,而短片段几分钟就能完成,而不是几小时
  • 配音前先锁定剪辑:配音以剪辑为准,之后再改动就意味着要重新配音

积分

Morphic Dub 按源视频的时长、每种语言计费:根据你的套餐,每分钟约 676 到 825 积分,运行前蓝色按钮上会显示估算。估算费用在配音启动时扣除,完成时按本次运行的实际消耗结算。结算金额可能低于或高于估算,但绝不会超过估算的三倍。失败的配音会退款。费率见 套餐与积分。


如果您遇到任何问题或有任何疑问,欢迎随时联系我们。我们很乐意提供帮助。请发送邮件至 support@morphic.com.

本页内容