Synchronisation

So synchronisierst du eine Video- oder Audioaufnahme in Morphic in eine andere Sprache, mit den Stimmen der ursprünglichen Sprecher und lippensynchron, über die Prompt-Leiste, mit Copilot, über MCP oder die Direct API.

Die Synchronisation in Morphic übersetzt eine Video- oder Audioaufnahme in eine andere Sprache und spricht sie mit der eigenen Stimme jedes ursprünglichen Sprechers wieder ein. Morphic transkribiert die Sprache, übersetzt sie und vertont sie mit dem Vortrag und dem Timing der Sprecher neu, sodass die synchronisierte Fassung zum Original passt.

Was du zurückbekommst, hängt vom Modell ab. Morphic Dub liefert das Video selbst, mit den Nahaufnahmen jedes Sprechers lippensynchron zur neuen Sprache. ElevenLabs Dubbing liefert eine neue Audiodatei, auch wenn du mit einem Video beginnst.

Wann du sie nutzt

  • Eine fertige Folge, einen Spot oder einen Kurs in einem anderen Markt veröffentlichen, ohne alles neu zu generieren
  • Eine wiedererkennbare Stimme, etwa die einer Moderatorin oder einer wiederkehrenden Figur, über Sprachen hinweg behalten
  • Pro Markt eine Version aus demselben Master erstellen

Für eine neue Lesung mit einer anderen Stimme nutze Sprache. Für eine andere Stimme in derselben Sprache nutze Sprache zu Sprache. Für übersetzte Untertitel statt neuem Audio nutze Transkription.

Ein Modell wählen

ModellNimmtLiefertSprachenPläne
Morphic DubEin Video, bis zu 10 MinutenDasselbe Video, synchronisiert, mit jedem Sprecher in seiner eigenen Stimme und lippensynchronen NahaufnahmenKeine feste Liste; eine regionale Variante wird in ihrer Hauptsprache synchronisiertKostenpflichtige Pläne; dort der Standard
ElevenLabs DubbingEine Audio- oder Videodatei, bis zu 30 MinutenEine neue Audiodatei, so lang wie die QuelleÜber 100, mit regionalen VariantenAlle Pläne; Standard im kostenlosen Plan

Wähle Morphic Dub für ein Video. Wähle ElevenLabs Dubbing für eine Audiodatei, ein Video über 10 Minuten oder im kostenlosen Plan. Beide nehmen dein eigenes SRT-Transkript und deine eigene SRT-Übersetzung an, statt selbst zu transkribieren und zu übersetzen: Morphic Dub mit zugewiesenen Stimmen, ElevenLabs Dubbing in den Originalstimmen mit festgelegter gesprochener Sprache; siehe Die Synchronisationseinstellungen. Morphic Dub ist langsam: Ein Durchlauf dauert bis zu etwa 13 Minuten pro Minute Video, und ein kurzer Clip braucht länger, als dieses Verhältnis nahelegt, da seine festen Stufen unabhängig von der Länge gleich viel kosten.

Synchronisieren über die Prompt-Leiste

  1. Öffne eine Datei in Morphic

  2. Öffne in der Prompt-Leiste unten die Modusauswahl und wähle 'Audio', dann 'Synchronisation'

    Das Audio-Menü der Prompt-Leiste, mit 'Synchronisation' am Ende der Liste

  3. Wähle in der Prompt-Leiste das Modell: 'Morphic Dub' oder 'ElevenLabs Dubbing'. Kostenpflichtige Pläne starten mit Morphic Dub

    Die Modellauswahl für die Synchronisation, mit Morphic Dub neben ElevenLabs Dubbing

  4. Füge unter 'Referenzen' eine Datei hinzu: lade sie hoch oder wähle sie aus deiner Canvas oder deinen Assets. Morphic Dub nimmt ein Video, ElevenLabs Dubbing nimmt eine Audio- oder Videodatei

    Die Karte 'Referenzen' über der Prompt-Leiste im Modus Synchronisation, die ein Video oder eine Audiodatei aufnimmt

  5. Klicke in der Prompt-Leiste auf das Symbol 'Einstellungen', um die Synchronisationseinstellungen zu öffnen, und wähle dann unter 'Synchronisieren auf' eine Sprache. Die Liste ist durchsuchbar. ElevenLabs Dubbing enthält regionale Varianten, etwa 'Amerikanisches Englisch' und 'Arabisch (Ägypten)'; Morphic Dub synchronisiert eine regionale Variante in ihrer Hauptsprache

    Synchronisationseinstellungen über der Prompt-Leiste, 'Synchronisieren auf' steht auf Spanisch

    Die Liste 'Synchronisieren auf' nach Eingabe von 'Fren': Canadian French, French und French (France)

  6. (Optional) Lass 'Gesprochene Sprache' auf 'Automatisch erkennen' oder lege sie fest, wenn die Aufnahme verrauscht ist oder Sprachen mischt; mit einem eigenen Transkript auf ElevenLabs Dubbing muss sie festgelegt sein. Tippe unter 'Wie gesprochen beibehalten' die Namen und Begriffe ein, die nicht übersetzt werden dürfen, durch Kommas getrennt

  7. Klicke in der Prompt-Leiste auf den blauen Button. Er zeigt die Credit-Kosten an, berechnet nach der Länge deiner Aufnahme

Die synchronisierte Fassung landet auf deiner Canvas, mit derselben Länge wie die Quelle: als Video bei Morphic Dub, als Audiodatei bei ElevenLabs Dubbing. Während sie entsteht, zeigt an ihrer Stelle eine Karte 'Wird erstellt...' und die verbleibende Zeit.

Eine französische Fassung auf der Canvas neben dem Originalvideo, aus dem sie entstanden ist

Die Synchronisationseinstellungen

Das Symbol 'Einstellungen' in der Prompt-Leiste öffnet die Synchronisationseinstellungen. Mit ausgewähltem Morphic Dub enthalten sie alles, was eine Synchronisation annehmen kann:

Die Synchronisationseinstellungen mit einer Stimme für einen beschriebenen Sprecher und darunter die Auswahl für Transkript und Übersetzung

EinstellungWas sie tut
'Synchronisieren auf'Die Sprache, in die synchronisiert wird; die Liste ist durchsuchbar
'Gesprochene Sprache'Lass sie auf 'Automatisch erkennen' oder lege die Sprache fest, wenn die Aufnahme verrauscht ist oder Sprachen mischt
'Wie gesprochen beibehalten'Namen und Begriffe, die die Übersetzung so lässt, wie sie sind, durch Kommas getrennt
'Stimmen''Originalstimmen beibehalten', der Standard, oder 'Jedem Sprecher eine Stimme zuweisen'
'Transkript'Deine eigene SRT-Datei des Gesprochenen in der gesprochenen Sprache, statt dass Morphic es transkribiert. Braucht zugewiesene Stimmen
'Übersetzung'Deine eigene SRT-Datei der Zeilen in der Zielsprache, statt dass Morphic übersetzt. Braucht zugewiesene Stimmen

Mit 'Jedem Sprecher eine Stimme zuweisen' erscheint für jede Person, die du besetzt, eine Sprecherzeile. Benenne den Sprecher durch ein Gesichtsbild oder einen Stimmclip, der an den Prompt angehängt ist und unter 'Wer spricht' ausgewählt wird, oder beschreibe ihn unter 'Sprecher beschreiben', etwa 'Der Mann in der roten Jacke'; wähle dann unter 'Stimme wählen' seine Stimme aus dem Stimmkatalog von Morphic. 'Sprecher hinzufügen' fügt eine Zeile hinzu. Wer nicht benannt wird, bekommt eine passende Katalogstimme. Die Auswahlen 'Transkript' und 'Übersetzung' listen die an den Prompt angehängten SRT-Dokumente auf; hänge die Datei zuerst an, um sie dort auszuwählen.

Auf Morphic Dub braucht ein eigenes Transkript oder eine eigene Übersetzung zugewiesene Stimmen: Mit den Originalstimmen entsteht die Synchronisation in einem Durchgang, der keinen Text annimmt, die Auswahlen bleiben also deaktiviert. Siehe Optionen dazu, was jede Option tut und wann du sie nutzt.

Mit ausgewähltem ElevenLabs Dubbing enthalten die Einstellungen 'Synchronisieren auf', 'Gesprochene Sprache', 'Wie gesprochen beibehalten', 'Transkript' und 'Übersetzung'; eine Einstellung 'Stimmen' gibt es nicht, da jeder Sprecher seine eigene Stimme behält. 'Transkript' nimmt deine eigene SRT-Datei des Gesprochenen in der gesprochenen Sprache, und 'Gesprochene Sprache' muss dann festgelegt sein, da die Engine sie aus einem Transkript nicht erkennen kann. Wenn die meisten Zeitmarken mit einer Sprecherangabe beginnen, etwa Mira: …, entscheiden diese Angaben, wer wann spricht, eine Stimme pro Sprecher; ohne sie wird alles als ein Sprecher synchronisiert. 'Übersetzung' wird aktiv, sobald ein Transkript ausgewählt ist, und nimmt deine eigene SRT-Datei der Zeilen in der Zielsprache: Jede Zeitmarke des Transkripts braucht eine übersetzte Zeitmarke darüber, da die Übersetzung nach den Zeitmarken des Transkripts getaktet wird, und 'Wie gesprochen beibehalten' gilt weiterhin, wann immer ElevenLabs übersetzt. Zeitmarken müssen innerhalb der Aufnahme liegen; eine Zeitmarke von mehr als 25 Sekunden wird geteilt.

Synchronisieren mit Copilot

  1. Öffne Copilot

  2. Hänge die Aufnahme mit der Büroklammer an

  3. Bitte um die Synchronisation und nenne die Sprache, zum Beispiel „Synchronisiere das ins Spanische“

    Das Copilot-Eingabefeld mit der Bitte, ein Video ins Spanische zu synchronisieren

In einem kostenpflichtigen Plan synchronisiert Copilot ein Video mit Morphic Dub und nennt dir die zu erwartende Wartezeit. Eine Audiodatei, ein Video über 10 Minuten und jede Synchronisation im kostenlosen Plan gehen an ElevenLabs Dubbing; bei einem Video legt Copilot das synchronisierte Audio danach wieder über das Bild, und die Lippen folgen der neuen Sprache nicht. Wenn du selbst wählen willst, nenne das Modell in der Anfrage.

Was du in dieselbe Anfrage aufnehmen kannst:

  • Mehrere Sprachen: „Synchronisiere das ins Spanische, Französische und Deutsche“ erzeugt pro Sprache eine Fassung, nebeneinander
  • Die Ausgangssprache: Nenne sie, wenn die Aufnahme verrauscht ist oder Sprachen mischt. Sonst wird sie erkannt
  • Namen und Begriffe: Liste Figurennamen, Orte oder Produktbegriffe auf, die nicht übersetzt werden dürfen, zum Beispiel „Behalte die Namen Mira und Halden bei“. Ohne diese Angabe können Namen wörtlich übersetzt herauskommen
  • Eine Stimme pro Sprecher: Erwähne mit @ ein Standbild oder einen Clip des Sprechers und die Stimme, zum Beispiel „Synchronisiere das ins Spanische. Gib @Image 1 die Stimme @Alice und wähle für die übrigen passende Stimmen“. Sprecher, die du nicht besetzt, bekommen eine passende Katalogstimme; Copilot wählt aus dem Stimmkatalog von Morphic, nicht aus den eigenen Stimmen deiner Organisation
  • Dein eigenes Transkript oder deine eigene Übersetzung: Hänge die SRT-Datei mit der Büroklammer an und sage, was sie ist, zum Beispiel „Synchronisiere das ins Spanische mit zugewiesenen Stimmen und nimm @interview.en.srt als Transkript“ oder „sprich die Zeilen aus @interview.es.srt“. Auf Morphic Dub braucht beides zugewiesene Stimmen; Copilot sagt dir das, statt die Datei zu verwerfen. Auf ElevenLabs Dubbing nenne das Modell und die gesprochene Sprache, zum Beispiel „Synchronisiere das ins Spanische auf ElevenLabs Dubbing; es ist auf Englisch gesprochen, nimm @interview.en.srt als Transkript“; eine Übersetzung geht mit ihrem Transkript

Synchronisieren über MCP

Mit verbundenem MCP-Server bittest du deinen Assistenten mit denselben Worten darum oder lässt ihn dub_media aufrufen, mit der media_asset_id des Clips, der target_language als Code wie hi, den Namen als keyterms und, um das Modell zu wählen, model_name: "Morphic Dub" oder model_name: "ElevenLabs Dubbing". Deine eigene SRT-Datei geht als source_transcript_asset_id oder translation_asset_id; auf ElevenLabs Dubbing brauchen sie source_language daneben, und die Übersetzung geht mit dem Transkript. Jede Sprache ist ein Aufruf. Der Aufruf liefert eine Generierung, auf die der Assistent wartet.

Synchronisieren über die Direct API

POST /v1/direct/tools/dub_media nimmt dieselben Felder, mit dem Modell als model_id: "mdl_h2z5a7af7y50", und liefert eine Generierung zum Abfragen oder zum Empfang per Webhook. Morphic Dub belastet beim Start eine Schätzung und rechnet sie auf den Verbrauch des Durchlaufs ab. Die vollständige Anleitung mit Beispielen in curl, Node.js und Python ist Synchronisation über die Direct API.

Limits

PunktMorphic DubElevenLabs Dubbing
DateienEin Video pro SynchronisationEine Audio- oder Videodatei pro Synchronisation
LängeBis zu 10 Minuten QuellmaterialBis zu 30 Minuten Quellmaterial
SprachenEine Zielsprache pro Synchronisation. Fünf Sprachen sind fünf SynchronisationenEine Zielsprache pro Synchronisation. Fünf Sprachen sind fünf Synchronisationen
AusgabeDas Video, so lang wie die QuelleEine Audiodatei, so lang wie die Quelle
Dein eigener TextEin SRT-Transkript, eine Übersetzung oder beides, mit zugewiesenen StimmenEin SRT-Transkript und dazu eine Übersetzung, mit festgelegter gesprochener Sprache
ZeitBis zu etwa 13 Minuten pro Minute VideoMinuten

Was sie kostet

Die Synchronisation wird nach der Länge der Quellaufnahme berechnet, daher kostet ein Clip von 2 Minuten in jeder Sprache gleich viel. Jede Sprache wird einzeln berechnet. Morphic Dub kostet pro Minute mehr als ElevenLabs Dubbing. Die Kosten stehen vor dem Start auf dem blauen Button, die aktuellen Preise findest du unter Pläne & Credits.

Bei Morphic Dub sind die Kosten auf dem Button eine Schätzung: Sie wird belastet, wenn die Synchronisation startet, und nach dem Abschluss auf das abgerechnet, was der Durchlauf tatsächlich verbraucht hat, nie mehr als das Dreifache der Schätzung. Eine fehlgeschlagene Synchronisation wird erstattet.

Die gesamte Datei wird berechnet. Um Stimmen und Namen zu testen, kürze zuerst eine Probe von 20 Sekunden und synchronisiere diese.

Fehlerbehebung

Copilot fragt nach der Sprache

Nenne die Zielsprache in der Anfrage. Copilot leitet sie nie aus der Sprache des Chats ab.

Die synchronisierte Fassung ist eine Audiodatei, kein Video

Die Synchronisation lief über ElevenLabs Dubbing, das immer Audio liefert. Für ein synchronisiertes Video mit passenden Lippen wähle Morphic Dub in einem kostenpflichtigen Plan, mit einem Video von bis zu 10 Minuten. Wenn du die Audiofassung behalten willst, bitte Copilot, sie wieder auf das Video zu legen, oder richte sie in Compose am Clip aus.

Ein Name wurde übersetzt

Führe es erneut aus und liste die Namen und Begriffe auf, die bleiben sollen: unter 'Wie gesprochen beibehalten' in der Prompt-Leiste, oder indem du Copilot die Namen in der Anfrage nennst.

Das Gesicht eines Sprechers passt zu niemandem

Das Standbild, das du für einen Sprecher angehängt hast, zeigt niemanden, den die Synchronisation im Bild gefunden hat; seine Stimme wurde daher nicht zugewiesen, und er wurde wie die anderen vertont. Hänge ein klares, frontales Standbild aus dem Video selbst an, ein Gesicht pro Bild, oder benenne den Sprecher stattdessen in Worten ('die Frau im roten Kleid').

Lege die gesprochene Sprache fest

Ein eigenes Transkript wurde ElevenLabs Dubbing übergeben, während die gesprochene Sprache auf Erkennen stand, was die Engine aus einem Transkript nicht kann. Lege sie fest und führe es erneut aus: 'Gesprochene Sprache' in den Synchronisationseinstellungen, die Sprache in der Copilot-Anfrage oder source_language im Aufruf.

Die SRT-Datei ist in der falschen Sprache

Das Transkript ist in der gesprochenen Sprache und die Übersetzung in der Zielsprache; eine Datei in der jeweils anderen Sprache wird so synchronisiert, wie sie ist, sodass das Ergebnis die falsche Sprache spricht oder die Zeilen neben ihren Zeitmarken landen. Prüfe, welcher Auswahl oder welchem Feld du die Datei gegeben hast, und gib den beiden Dateien verschiedene Namen, damit sie nicht vertauscht werden.

Die Synchronisation dauert lange

Ein Durchlauf von Morphic Dub dauert bis zu etwa 13 Minuten pro Minute Video, und die festen Stufen machen einen kurzen Clip langsamer, als dieses Verhältnis nahelegt: Ein Clip von 50 Sekunden brauchte 17 Minuten. Die Karte auf der Canvas zeigt die verbleibende Zeit; Copilot nennt dir die zu erwartende Wartezeit, wenn es die Synchronisation startet.

So nutzt du die Synchronisation in Morphic. Greif darauf zurück, wenn eine fertige Aufnahme in denselben Stimmen eine andere Sprache erreichen soll.


Wenn Sie Probleme haben oder Fragen haben, können Sie sich gerne an uns wenden. Wir helfen Ihnen gerne. Schreiben Sie uns an support@morphic.com.

Auf dieser Seite