Lip Sync mit KI

Das Modell bekommt ein Gesicht und eine Tonspur. Es zeichnet den Mund so neu, dass er die gesprochenen Worte formt. Der Rest der Aufnahme bleibt unangetastet. Spiel, Kopfbewegung und Licht halten sich. Verändert wird nur die Stelle, an der man sonst merkt, dass die Stimme später dazukam.

Ja, ein Porträt genügt. Ein Standbild hat keine Bewegung, die sich neu synchronisieren ließe. Deshalb läuft es über ein Videomodell, das dem Gesicht Leben gibt und den Mund an Ihre Spur bindet. So beginnt eine Aufnahme zu sprechen, die sich nie bewegt hat. Schneller kommen Sie nicht zu einer sprechenden Moderation, ohne jemanden vor die Kamera zu stellen.

Ihre Aufnahme bleibt die Grundlage. Das Modell zeichnet nur den Mundbereich neu. Licht und Hautton bleiben, ebenso die Kopfhaltung. Das Ergebnis kommt als neue Datei zurück, die Ausgangsaufnahme bleibt erhalten. In der Abstimmung mit dem Kunden lässt sich damit jede Fassung nachvollziehen.

Ja. Das Modell richtet die Mundformen nach den Lauten in der Tonspur aus, nicht nach einer bestimmten Sprache. Deutsch läuft damit genauso wie Englisch, Spanisch oder Japanisch. Genau deshalb lohnt sich der Schritt nach der Übersetzung. Eine deutsche Moderation lässt sich englisch neu vertonen und sieht danach immer noch echt aus.

Ihre eigene Aufnahme, ein generiertes Voiceover oder eine bestehende Dialogspur. Fehlt der Ton noch, erzeugen Sie ihn zuerst mit Text-to-Speech und bringen ihn direkt hierher. Eine saubere Aufnahme mit einer klar hörbaren Stimme trifft genauer als ein lauter Raum mit mehreren Sprechern.

Ja. Die Ausgangsdatei bestimmt weiterhin, wie die Person aussieht. Gesichtszüge, Haut und Licht halten sich. Synchronisieren Sie einen vorhandenen Clip neu, ändert sich nur der Mund, und das übrige Spiel bleibt unberührt. Vom Standbild aus läuft es etwas anders. Das Gesicht wird gehalten, dazu kommen natürliche Kopfbewegung und Gestik. Ein Foto braucht eben erst Bewegung, bevor es sprechen kann. Nehmen Sie in beiden Fällen eine klare, gut ausgeleuchtete Aufnahme von vorn.

Ja. Speichern Sie den Aufbau als Workflow und schicken Sie jede neue Tonspur hindurch. Ein wöchentliches Erklärvideo oder ein Satz lokalisierter Fassungen kommt einheitlich heraus. Von Hand zusammengesetzt werden muss dafür nichts mehr.