Morphic Dub

Morphic Dub ist das eigene Synchronisationsmodell von Morphic. Es nimmt ein Video mit Sprache, übersetzt das Gesagte in eine andere Sprache und liefert dasselbe Video in derselben Länge zurück, mit jedem Sprecher in seiner eigenen Stimme neu eingesprochen und den Nahaufnahmen lippensynchron zur neuen Sprache. Die Originalmusik und die Soundeffekte bleiben unter den neuen Stimmen erhalten. Es ist in kostenpflichtigen Plänen das Standardmodell für die Synchronisation, und es ist langsam: Ein Durchlauf dauert bis zu etwa 13 Minuten pro Minute Video.

Hier ist eine kurze Anleitung, wie du Morphic Dub auf Morphic verwendest:

So greifst du auf Morphic Dub auf Morphic zuCopy Anchor Link

1. Öffne eine neue oder vorhandene Datei in einem Projekt auf Morphic
2. Stelle in der Prompt-Leiste unten den Modus auf 'Audio' und wähle dann 'Synchronisation'
3. Klicke auf die Modellauswahl und wähle 'Morphic Dub'. Kostenpflichtige Pläne starten damit
4. Füge das Video unter 'Referenzen' hinzu, lege in den Einstellungen unter 'Synchronisieren auf' die Sprache fest und klicke in der Prompt-Leiste auf die blaue Schaltfläche

Oder öffne es als Tool: Klicke über der Prompt-Leiste auf 'Tools' und wähle 'Morphic Dub', das erste in der Bibliothek. Es stellt die Prompt-Leiste auf 'Synchronisation' mit Morphic Dub und fragt nach einem Video; sobald du eines anhängst, öffnen sich die Einstellungen, damit du die Sprache wählen kannst. Siehe Tools erkunden.

Du kannst auch Copilot um eine Synchronisation bitten oder sie über den MCP-Server und die Direct API aufrufen. Das Beispiel unten führt dieselbe Synchronisation auf jedem dieser Wege aus.

Wofür die Operation gedacht istCopy Anchor Link

Morphic Dub hat eine Operation und keinen Prompt: Das Video, die Zielsprache und die Einstellungen sind die ganze Anfrage. Bei einer Audiodatei, einem Video über 10 Minuten oder einer Synchronisation im kostenlosen Plan leitet Morphic an ElevenLabs Dubbing weiter, das eine Audiodatei liefert; siehe Synchronisation.

SpezifikationenCopy Anchor Link

Beispiel: eine Hindi-Synchronisation mit beibehaltenen NamenCopy Anchor Link

Dieselbe Anfrage auf jedem Weg: einen kurzen Interview-Clip ins Hindi synchronisieren und die Namen Arjun und Meera so lassen, wie sie sind.

Im ChatCopy Anchor Link

1. Öffne Copilot und hänge den Clip mit der Büroklammer an
2. Sende „Synchronisiere dieses Video ins Hindi, behalte die Namen Arjun und Meera bei“
3. Copilot führt Morphic Dub aus und nennt dir die zu erwartende Wartezeit. Das synchronisierte Video landet im Chat und in deinem Projekt, sobald es fertig ist

Auf der CanvasCopy Anchor Link

1. Öffne eine Datei in deinem Projekt und stelle die Prompt-Leiste auf 'Audio', dann 'Synchronisation'
2. Wähle in der Modellauswahl 'Morphic Dub'
3. Füge unter 'Referenzen' den Clip von deiner Canvas, aus deinen Assets oder per Upload hinzu
4. Öffne die Synchronisationseinstellungen, stelle 'Synchronisieren auf' auf 'Hindi', lass 'Gesprochene Sprache' auf 'Automatisch erkennen' und tippe Arjun, Meera unter 'Wie gesprochen beibehalten' ein
5. Klicke auf die blaue Schaltfläche. Sie zeigt die geschätzten Credits an, berechnet nach der Länge des Clips

Während die Synchronisation läuft, zeigt an ihrer Stelle auf der Canvas eine Karte 'Wird erstellt...' und die verbleibende Zeit.

Über MCPCopy Anchor Link

Bitte deinen Assistenten um dasselbe oder lass ihn dub_media aufrufen:

{
  "media_asset_id": "01928f4e-…",
  "target_language": "hi",
  "keyterms": ["Arjun", "Meera"],
  "model_name": "Morphic Dub",
  "project_id": "01928f4e-…"
}

media_asset_id ist die ID des Clips aus list_assets oder aus einer fertigen Generierung. Lässt du model_name in einem kostenpflichtigen Plan weg, geht ein Video trotzdem an Morphic Dub.

Über die Direct APICopy Anchor Link

Die Modell-ID von Morphic Dub ist mdl_h2z5a7af7y50. Der Aufruf liefert eine Generierung zum Abfragen; vor der ersten Abfrage lohnt es sich zu warten, denn eine Synchronisation dauert etwa das 13-Fache der Clip-Länge.

curl -s https://mcp.morphic.com/v1/direct/tools/dub_media \
  -H "Authorization: Bearer $MORPHIC_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"input": {"media_asset_id": "https://cdn.example.com/interview.mp4", "target_language": "hi", "keyterms": ["Arjun", "Meera"], "model_id": "mdl_h2z5a7af7y50", "project_id": "01928f4e-…"}}'

Die Antwort enthält result.generation_id und result.estimated_credits, die beim Start belastete Schätzung, mit credits_settle_on_output_duration: true. Frage mit einer langen Wartezeit ab:

sleep 660   # a 50 s clip: about 13 times its length
curl -s "https://mcp.morphic.com/v1/direct/generations/$GENERATION_ID?wait=45" \
  -H "Authorization: Bearer $MORPHIC_API_KEY"

Sobald die Generierung succeeded ist, enthält assets das synchronisierte Video, und billing.credits_charged ist der abgerechnete Betrag. Die vollständige Anleitung mit Node.js- und Python-Versionen, einer Kalkulation vor dem Ausgeben und Webhooks ist Synchronisation über die Direct API.

OptionenCopy Anchor Link

Standardmäßig behält jeder seine eigene Stimme, und Morphic transkribiert und übersetzt die Sprache selbst. Drei Optionen ändern das. Die Stimmoptionen laufen nur auf Morphic Dub, und auf Morphic Dub braucht jeder eigene Text zugewiesene Stimmen, denn die Originalstimmen werden in einem Durchgang synchronisiert, der weder Besetzung noch Text annimmt: Ein Transkript oder eine Übersetzung mit den Originalstimmen wird noch nicht unterstützt. ElevenLabs Dubbing liest die Optionen Transkript und Übersetzung ebenfalls, in den Originalstimmen und mit festgelegter gesprochener Sprache; siehe Die Synchronisationseinstellungen.

Originalstimmen beibehaltenCopy Anchor Link

Der Standard, voice_mode: "original": Jeder Sprecher wird in einem Klon seiner eigenen Stimme neu eingesprochen, eine Stimme pro Person über den ganzen Clip. Nichts einzustellen.

• Chat: „Synchronisiere das ins Spanische“ genügt
• API: lass voice_mode weg oder sende "voice_mode": "original"

Jedem Sprecher eine Stimme zuweisenCopy Anchor Link

voice_mode: "assigned" spricht jede Person in einer Stimme aus dem Stimmkatalog von Morphic statt in ihrer eigenen. Benenne einen Sprecher durch ein Gesichtsbild, einen Clip, in dem er spricht, oder eine kurze Beschreibung wie „der Erzähler“ und ordne jedem eine Katalogstimme zu. Sprecher, die du nicht benennst, bekommen eine passende Katalogstimme zugewiesen, du kannst also eine Hauptfigur besetzen und den Rest offenlassen. Der Katalog ist derselbe, den die Stimmauswahl in den Synchronisationseinstellungen in Studio zeigt, und den list_voices mit Morphic Dub als Modell über MCP und die Direct API liefert; die eigenen Stimmen einer Organisation können keinem Sprecher zugewiesen werden.

• Chat: Hänge ein Standbild des Sprechers an, dann „Synchronisiere das ins Spanische. Gib @Image 1 die Stimme @Alice; wähle für die anderen passende Stimmen“
• API:

{
  "media_asset_id": "01928f4e-…",
  "target_language": "es",
  "voice_mode": "assigned",
  "voices": [
    { "speaker_asset_id": "01928f4e-…", "voice_id": "0192b1c0-…" },
    { "speaker_description": "the narrator", "voice_id": "0192b1c1-…" }
  ],
  "model_id": "mdl_h2z5a7af7y50",
  "project_id": "01928f4e-…"
}

Jeder Eintrag in voices benennt seinen Sprecher durch genau eines von speaker_asset_id (ein Bild seines Gesichts oder ein Audioclip von ihm) oder speaker_description (ein paar Wörter, ohne ;, = oder "), mit der voice_id aus list_voices. Bis zu 20 Sprecher, jeder einmal benannt. Über MCP heißt das Modellfeld model_name: "Morphic Dub".

Eigenes Transkript mitbringenCopy Anchor Link

Gib Morphic eine SRT-Datei des Gesprochenen mit Zeitmarken, in der gesprochenen Sprache, und es synchronisiert nach deinen Zeilen, statt selbst zu transkribieren. Nutze das, wenn Namen, Fachbegriffe oder Durcheinanderreden das automatische Transkript unzuverlässig machen. Es braucht zugewiesene Stimmen.

• Chat: Hänge die SRT-Datei mit der Büroklammer an, dann „Synchronisiere das ins Spanische mit zugewiesenen Stimmen und nimm @transcript.srt als Transkript“
• API: "source_transcript_asset_id": "https://cdn.example.com/interview.en.srt" neben "voice_mode": "assigned"

Eigene Übersetzung mitbringenCopy Anchor Link

Gib Morphic eine SRT-Datei der Zeilen mit Zeitmarken, in der Zielsprache, und es spricht deine Übersetzung, statt eine eigene zu erstellen. Nutze das, wenn das Skript bereits übersetzt und freigegeben ist. Es braucht zugewiesene Stimmen, und die Datei ist in der Zielsprache, nicht in der gesprochenen.

• Chat: Hänge die SRT-Datei an, dann „Synchronisiere das ins Spanische mit zugewiesenen Stimmen; sprich die Zeilen aus @interview.es.srt“
• API: "translation_asset_id": "https://cdn.example.com/interview.es.srt" neben "voice_mode": "assigned"

Du kannst beides senden: das Transkript in der gesprochenen Sprache und die Übersetzung in der Zielsprache, als zwei verschiedene Dateien.

Wie lange es dauertCopy Anchor Link

Eine Synchronisation dauert bis zu etwa 13 Minuten pro Minute Video, plane also mit der Wartezeit, statt ihr zuzusehen: Ein Clip von 2 Minuten kann 25 Minuten dauern. Kurze Clips brauchen länger, als dieses Verhältnis nahelegt, weil die festen Stufen, die die Sprecher finden und die Sprache vom übrigen Ton trennen, unabhängig von der Länge gleich viel kosten: Ein Clip von 50 Sekunden brauchte 17 Minuten. Eine längere Synchronisation wächst nicht so schnell mit.

Tipps für PromptsCopy Anchor Link

• Nenne die Sprache in Worten oder als Code; eine Sprache pro Synchronisation. Für mehrere Märkte bitte in derselben Anfrage um jede einzelne, dann laufen sie nebeneinander
• Liste jeden Namen, jeden Ort und jede Marke auf, die wie gesprochen bleiben müssen. Ohne die Liste können Namen wörtlich übersetzt herauskommen
• Lege die gesprochene Sprache selbst fest, wenn der Clip verrauscht ist oder die Sprache wechselt; sonst lass sie auf 'Automatisch erkennen'
• Um einen Clip zu testen, schneide eine Probe von 20 Sekunden zu und synchronisiere zuerst diese. Die gesamte Datei wird berechnet, und ein kurzer Clip ist in Minuten fertig, nicht in Stunden
• Sperre den Schnitt, bevor du synchronisierst: Die Synchronisation folgt dem Schnitt, eine spätere Änderung heißt also erneut synchronisieren

CreditsCopy Anchor Link

Morphic Dub wird nach der Länge des Quellvideos berechnet, pro Sprache: je nach Plan etwa 676 bis 825 Credits pro Minute, und die Schätzung steht vor dem Start auf der blauen Schaltfläche. Die Schätzung wird belastet, wenn die Synchronisation startet, und nach dem Abschluss auf das abgerechnet, was der Durchlauf tatsächlich verbraucht hat. Der abgerechnete Betrag kann unter oder über der Schätzung liegen, aber nie mehr als das Dreifache davon. Eine fehlgeschlagene Synchronisation wird erstattet. Siehe Pläne & Credits für die Tarife.

Wenn Sie Probleme haben oder Fragen haben, können Sie sich gerne an uns wenden. Wir helfen Ihnen gerne. Schreiben Sie uns an support@morphic.com.