Morphic Dub

Morphic Dub は動画を別の言語に吹き替え、各話者を本人の声で話し直し、クローズアップの口の動きも合わせたうえで、動画そのものを返します。

Morphic Dub は Morphic 独自の吹き替えモデルです。話し声の入った動画を1本受け取り、話されている内容を別の言語に翻訳して、同じ長さの同じ動画を返します。各話者は本人の声で話し直され、クローズアップの口の動きは新しい音声に合わせられます。元の音楽と効果音は、新しい声の下にそのまま残ります。有料プランでは既定の吹き替えモデルですが、処理には時間がかかります。1回の実行に、動画1分あたり最大およそ13分かかります。

Morphic で Morphic Dub を使う方法を手早くご紹介します:

Morphic で Morphic Dub にアクセスする方法

  1. Morphic のプロジェクトで新しいファイルまたは既存のファイルを開く
  2. 下部のプロンプトバーでモードを 'オーディオ' に切り替え、続けて '吹き替え' を選ぶ
  3. モデルセレクターをクリックし、'Morphic Dub' を選ぶ。有料プランでは最初から選ばれています
  4. '参照' に動画を追加し、設定の '吹き替え先の言語' で言語を選んで、プロンプトバーの青いボタンをクリックする

ツールとして開くこともできます。プロンプトバーの上にある 'ツール' をクリックし、ライブラリの先頭にある 'Morphic Dub' を選びます。プロンプトバーが Morphic Dub の '吹き替え' に切り替わり、動画を求められます。動画を添付すると設定が開くので、言語を選んでください。ツールを探す を参照してください。

Copilot に吹き替えを頼むこともでき、MCP サーバー や Direct API から呼び出すこともできます。下の実例では、同じ吹き替えをそれぞれの方法で実行します。

各操作の用途

操作用途
吹き替え完成した動画を、各話者の声を保ち、画面上の口の動きを合わせたまま別の言語に届けます

Morphic Dub の操作は1つだけで、プロンプトはありません。動画、対象言語、設定がリクエストのすべてです。音声ファイル、10分を超える動画、または無料プランでの吹き替えは、Morphic が ElevenLabs Dubbing に振り分け、音声ファイルが返ります。吹き替え を参照してください。

仕様

仕様詳細
入力話し声の入った動画1本、最大10分
出力吹き替えた同じ長さの同じ動画。話者のクローズアップは口の動きを同期
声各話者は本人の声を保ちます。クリップ全体を通して1人につき1つの声です。または話者ごとにカタログの声を割り当てることもできます。オプション を参照
自分のテキスト任意:自分で用意した SRT の文字起こし、SRT の翻訳、またはその両方。声の割り当てが必要です
対象言語吹き替え1回につき1つ。固定の一覧はありません。'Arabic (Egypt)' のような地域別のバージョンは、その主要な言語で吹き替えられます
元の言語自動で検出されます。音声にノイズが多いときや複数の言語が混ざるときは指定してください
音楽と効果音元の音楽と効果音は、元のタイミングと音量のまま新しい声の下に残ります
名前と用語そのまま残す名前、地名、ブランド名。それぞれ5語まで
所要時間動画1分あたり最大およそ13分。短いクリップはこの比率より長くかかります(下記参照)
プラン有料プラン

実例:名前を残したヒンディー語の吹き替え

各方法で同じリクエストを実行します。短いインタビュークリップをヒンディー語に吹き替え、Arjun と Meera の名前はそのまま残します。

チャットで

  1. Copilot を開き、クリップアイコンでクリップを添付する
  2. 「この動画をヒンディー語に吹き替えて。Arjun と Meera の名前はそのままにして」と送る
  3. Copilot が Morphic Dub を実行し、予想される待ち時間を伝えます。完成すると、吹き替えた動画がチャットとプロジェクトに届きます

Canvas で

  1. プロジェクトでファイルを開き、プロンプトバーを 'オーディオ'、続けて '吹き替え' に切り替える
  2. モデルセレクターで 'Morphic Dub' を選ぶ
  3. '参照' に、Canvas、Assets、またはアップロードからクリップを追加する
  4. '吹き替えの設定' パネルを開き、'吹き替え先の言語' を 'Hindi' にし、'話されている言語' は '自動で検出' のままにして、'そのまま残す語' に Arjun, Meera と入力する
  5. 青いボタンをクリックする。クリップの長さから計算されたクレジットの見積もりが表示されます

吹き替えの実行中は、Canvas 上のその場所にカードが表示され、'作成中...' と残り時間が出ます。

MCP で

アシスタントに同じことを頼むか、dub_media を呼び出させます:

{
  "media_asset_id": "01928f4e-…",
  "target_language": "hi",
  "keyterms": ["Arjun", "Meera"],
  "model_name": "Morphic Dub",
  "project_id": "01928f4e-…"
}

media_asset_id は、list_assets または完了した生成から取得したクリップの ID です。有料プランでは、model_name を省略しても動画は Morphic Dub で実行されます。

Direct API で

Morphic Dub のモデル ID は mdl_h2z5a7af7y50 です。呼び出しはポーリングする生成を返します。吹き替えにはクリップの長さのおよそ13倍かかるため、最初のポーリングまではしっかり待つ価値があります。

curl -s https://mcp.morphic.com/v1/direct/tools/dub_media \
  -H "Authorization: Bearer $MORPHIC_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"input": {"media_asset_id": "https://cdn.example.com/interview.mp4", "target_language": "hi", "keyterms": ["Arjun", "Meera"], "model_id": "mdl_h2z5a7af7y50", "project_id": "01928f4e-…"}}'

レスポンスには result.generation_id と、開始時に請求される見積もりである result.estimated_credits が含まれ、credits_settle_on_output_duration: true が付きます。長めの待機時間でポーリングします:

sleep 660   # a 50 s clip: about 13 times its length
curl -s "https://mcp.morphic.com/v1/direct/generations/$GENERATION_ID?wait=45" \
  -H "Authorization: Bearer $MORPHIC_API_KEY"

生成が succeeded になると、その assets に吹き替えた動画が入り、billing.credits_charged が精算後の金額になります。Node.js 版と Python 版、消費前の見積もり、Webhook まで含めた完全なガイドは Direct API での吹き替え です。

オプション

既定では全員が本人の声を保ち、Morphic が話し声を自ら書き起こして翻訳します。これを変えるオプションが3つあります。声のオプションは Morphic Dub でのみ使え、Morphic Dub で自分のテキストを使うにはいずれも声の割り当てが必要です。元の声での吹き替えは、キャストもテキストも受け取らない1回のパスで行われるためです。元の声のままで文字起こしや翻訳を渡すことは、まだサポートされていません。ElevenLabs Dubbing も文字起こしと翻訳のオプションを読み取り、話されている言語を指定したうえで元の声のまま使います。吹き替えの設定パネル を参照してください。

元の声を維持

既定の voice_mode: "original" です。各話者は本人の声のクローンで話し直され、クリップ全体を通して1人につき1つの声です。設定することは何もありません。

  • チャット:「これをスペイン語に吹き替えて」だけで済みます
  • API:voice_mode を省略するか、"voice_mode": "original" を送ります

話者ごとに声を割り当てる

voice_mode: "assigned" では、各話者が本人の声ではなく、Morphic の声のカタログにある声で話します。話者は顔画像、その人が話しているクリップ、または「ナレーター」のような短い説明で指定し、それぞれにカタログの声を組み合わせます。指定しなかった話者にはふさわしいカタログの声が選ばれるので、主役1人だけをキャストして残りは任せることもできます。カタログは、Studio では '吹き替えの設定' パネルの声の選択肢に表示されるもので、MCP と Direct API では Morphic Dub をモデルに指定した list_voices が返すものです。組織独自の声を話者に割り当てることはできません。

  • チャット:話者のフレームを添付してから「これをスペイン語に吹き替えて。@Image 1 には @Alice の声を使って、ほかの人にはふさわしい声を選んで」
  • API:
{
  "media_asset_id": "01928f4e-…",
  "target_language": "es",
  "voice_mode": "assigned",
  "voices": [
    { "speaker_asset_id": "01928f4e-…", "voice_id": "0192b1c0-…" },
    { "speaker_description": "the narrator", "voice_id": "0192b1c1-…" }
  ],
  "model_id": "mdl_h2z5a7af7y50",
  "project_id": "01928f4e-…"
}

voices の各エントリは、speaker_asset_id(その人の顔の画像、またはその人の音声クリップ)か speaker_description(数語。;、=、" は使えません)のどちらか一方だけで話者を指定し、list_voices から取得した voice_id を添えます。話者は最大20人で、それぞれ1回だけ指定します。MCP では、モデルのフィールドは model_name: "Morphic Dub" です。

自分の文字起こしを使う

話されている言語のタイミング付き SRT を Morphic に渡すと、書き起こす代わりにそのセリフから吹き替えます。名前、専門用語、話し声の重なりのせいで自動の文字起こしが頼りにならないときに使ってください。声の割り当てが必要です。

  • チャット:クリップアイコンで SRT を添付してから「声を割り当てて、@transcript.srt を文字起こしとして使い、これをスペイン語に吹き替えて」
  • API:"voice_mode": "assigned" と並べて "source_transcript_asset_id": "https://cdn.example.com/interview.en.srt"

自分の翻訳を使う

対象言語のタイミング付き SRT を Morphic に渡すと、翻訳を作る代わりにあなたの翻訳を話します。台本がすでに翻訳され、承認済みのときに使ってください。声の割り当てが必要で、ファイルは話されている言語ではなく対象言語のものです。

  • チャット:SRT を添付してから「声を割り当てて、これをスペイン語に吹き替えて。セリフは @interview.es.srt のものを話して」
  • API:"voice_mode": "assigned" と並べて "translation_asset_id": "https://cdn.example.com/interview.es.srt"

両方を送ることもできます。話されている言語の文字起こしと対象言語の翻訳を、別々の2つのファイルとして渡します。

所要時間

吹き替えには動画1分あたり最大およそ13分かかるため、進み具合を見守るのではなく、待ち時間を見込んで計画してください。2分のクリップなら25分かかることがあります。短いクリップは、この比率から想像するより長くかかります。話者を見つけ、話し声をそれ以外の音から分離する固定の段階は、長さにかかわらず同じだけ時間がかかるためです。50秒のクリップで17分かかったことがあります。それより長い吹き替えでは、時間はそこまで急には増えません。

プロンプトのヒント

  • 言語は名前でもコードでも指定できます。吹き替え1回につき1言語です。複数の市場向けには、同じ依頼の中でそれぞれを頼むと、並行して実行されます
  • そのまま残すべき名前、地名、ブランド名をすべて挙げてください。挙げておかないと、名前が直訳されてしまうことがあります
  • クリップにノイズが多いときや言語が切り替わるときは、話されている言語を自分で指定してください。それ以外は自動検出のままで構いません
  • クリップを試すには、まず20秒のサンプルを切り出して吹き替えてみてください。ファイル全体が課金対象で、短いクリップなら数時間ではなく数分で終わります
  • 吹き替える前に編集を確定させてください。吹き替えはカットに従うため、後から変更すると吹き替えのやり直しになります

クレジット

Morphic Dub は元の動画の長さに応じて、言語ごとに課金されます。プランによって1分あたりおよそ676〜825クレジットで、実行前に青いボタンに見積もりが表示されます。見積もりは吹き替えの開始時に請求され、完了時に実際に消費した分に精算されます。精算後の金額は見積もりを下回ることも上回ることもありますが、見積もりの3倍を超えることはありません。失敗した吹き替えは返金されます。レートは プランとクレジット を参照してください。


何かお困りのことやご質問がありましたら、お気軽にご連絡ください。喜んでお手伝いします。こちらまでご連絡ください support@morphic.com.

このページの内容