OmniHuman 2.0: Der komplette Guide

OmniHuman 2.0 baut die gesamte Darbietung aus einem einzigen Foto und Ihrer Tonspur auf. Das Modell hört nicht nur, welche Laute vorkommen, sondern auch, wie jede Zeile gesprochen wird. Die Stimmung der Aufnahme landet dadurch im Gesicht. Für Schulungs- und Erklärvideos ist das reizvoll, weil eine ganze Lektion am Stück läuft. Schalten Sie den Ton ein, dann hören Sie es selbst.

Laut dem Launch-Beitrag von BytePlus unterscheiden drei Neuerungen die Version 2.0.

Sie liefern zwei Dinge, ein drittes ist optional. Für die meisten Videos genügen die ersten beiden.

Das Foto entscheidet über das Ergebnis mehr als alles andere. Das Modell behält, was es sieht. Ein scharfes, gut ausgeleuchtetes Gesicht ergibt also eine ebenso saubere Darbietung.

Auch Knetfiguren und Illustrationen funktionieren. Zeichnen Sie das Gesicht deutlich, damit Augen und Mund gut lesbar sind.

Das Audio ist die Darbietung. Wie eine Zeile gesprochen wird, sehen Sie später auf dem Bildschirm. Erzeugen oder nehmen Sie die Stimme deshalb zuerst auf und hören Sie sie an, bevor Sie das Video starten.

Dasselbe Modell liest sehr unterschiedliche Vortragsweisen. Ein Flüstern, ein Ausruf und ein Lachen ergeben jeweils eine eigene Darbietung.

Eine einzelne Einstellung darf bis zu 5 Minuten laufen. Vor Version 2.0 mussten Sie alles über 60 Sekunden in Stücken erzeugen und zusammenfügen. An jeder Naht konnten Gesicht, Licht oder Hintergrund springen. Ein langer Take vermeidet das, solange Foto und Audio über die gesamte Länge tragen.

1. Schreiben Sie das komplette Skript und erzeugen Sie die Stimme in einem Durchgang. So bleibt der Tonfall von Anfang bis Ende gleich.
2. Hören Sie die Spur einmal ganz an und korrigieren Sie falsch ausgesprochene Wörter, bevor Sie das Video erzeugen. Jede spätere Korrektur heißt, den ganzen Take neu zu rechnen.
3. Wählen Sie ein Foto mit ruhigem, neutralem Ausdruck. Es muss für jeden Moment der Spur taugen, nicht nur für die erste Zeile.
4. Starten Sie zuerst einen Test von 20 Sekunden aus der Mitte des Skripts und danach den vollen Take.

Das Audio trägt den größten Teil der Darbietung. Eine kurze Regieanweisung hilft, wenn Sie eine bestimmte Art von Bewegung wünschen. Beschreiben Sie den Vortrag, nicht den Wortlaut.

Einige frühe Zuschauer der Launch-Demo von BytePlus bemerkten, dass sich der Hintergrund bewegte, während die Person sprach. Modelle, die vom Audio gesteuert werden, erzeugen jedes Pixel jedes Bildes, nicht nur das Gesicht. Alles im Foto kann daher abdriften: Menschen hinter dem Sprecher, Regale, Schilder, Muster. Je mehr es zu zeichnen gibt, desto mehr kann sich bewegen.

Wir haben das auf Morphic getestet, mit demselben Gesicht, derselben Sprachzeile und zwei Hintergründen. In der Version mit dem belebten Café drehen die Menschen hinter ihr die Köpfe und bewegen sich von selbst. Der Hintergrund verändert sich dort von Bild zu Bild etwa 2,3-mal stärker als bei der schlichten Wand.

Mit fünf Schritten bleibt der Hintergrund ruhig:

1. Verwenden Sie einen schlichten oder unscharfen Hintergrund. Haben Sie nur ein belebtes Foto, bearbeiten Sie den Hintergrund vorab zu einer schlichten Wand und lassen die Person unverändert. So ist die schlichte Version oben entstanden.
2. Lassen Sie nur ein Gesicht im Bild. Schneiden Sie andere Personen weg oder entfernen Sie sie, auch unscharfe und auch am Rand.
3. Vermeiden Sie feine Details hinter der Person: Schrift, Fliesen, Regale mit kleinen Gegenständen, Lichterketten.
4. Ergänzen Sie „background stays still“ in der Regieanweisung.
5. Driftet eine Stelle in einem langen Take trotzdem, erzeugen Sie genau diese Stelle noch einmal und schneiden sie in einer Sprechpause ein, wo ein Schnitt am wenigsten auffällt.

Unser Test lief mit Veed Fabric auf Morphic, weil OmniHuman 2.0 dort noch nicht verfügbar ist. Die Ursache ist bei jedem Modell dieselbe, das das ganze Bild aus einem Foto zeichnet. Deshalb gelten auch dieselben Gegenmittel.

Beide machen aus einem Foto und einer Tonspur ein sprechendes Video. Veed Fabric ist heute auf Morphic verfügbar, und alle Beispiele in diesem Guide sind damit entstanden. OmniHuman 2.0 folgt in Kürze.

1. Öffnen Sie Copilot und hängen Sie ein Foto mit einem klaren Gesicht und schlichtem Hintergrund an.
2. Hängen Sie Ihre Sprach- oder Musikspur an, oder lassen Sie Copilot zuerst aus Ihrem Skript die Stimme erzeugen.
3. Bitten Sie um ein sprechendes Video mit Veed Fabric, ergänzen Sie eine kurze Regieanweisung und laden Sie das Ergebnis herunter oder öffnen Sie es im Editor.