Guide OmniHuman 2.0

OmniHuman 2.0 part d’une seule photo et construit toute l’interprétation à partir de votre audio. Il écoute comment chaque phrase est dite, pas seulement les sons qu’elle contient : le visage porte donc l’humeur de la piste. Pensez à un cours en ligne, à une vidéo explicative ou à un clip pour les réseaux sociaux. Activez le son pour l’entendre.

Trois changements distinguent la version 2.0, d’après le post de lancement de BytePlus.

Vous fournissez deux éléments, et un troisième est facultatif. La plupart des vidéos n’ont besoin que des deux premiers.

La photo pèse plus lourd que tout le reste. Le modèle conserve ce qu’il voit : un visage net et bien éclairé donne une interprétation nette et bien éclairée.

Les personnages en argile et les illustrations fonctionnent aussi. Dessinez le visage clairement, avec des yeux et une bouche faciles à lire.

L’audio est l’interprétation : la façon dont la phrase est dite, c’est ce que vous verrez à l’écran. Générez ou enregistrez d’abord la voix, puis écoutez-la avant de lancer la vidéo.

Le même modèle lit des façons de dire très différentes. Un murmure, un cri et un rire donnent chacun une interprétation à part.

Un plan peut durer jusqu’à 5 minutes. Avant la version 2.0, tout ce qui dépassait 60 secondes devait être généré par morceaux puis assemblé. Le visage, la lumière ou le fond pouvaient alors sauter à chaque raccord. Le plan-séquence évite cela, à condition que la photo et l’audio tiennent sur toute la durée.

1. Écrivez le script en entier et générez la voix en une seule passe, pour que le ton reste le même du début à la fin.
2. Écoutez le tout une fois et corrigez les mots mal prononcés avant de générer la vidéo. Une correction tardive oblige à relancer le plan entier.
3. Prenez une photo à l’expression calme et neutre. Elle doit convenir à chaque moment de la piste, pas seulement à la première phrase.
4. Lancez d’abord un test de 20 secondes pris au milieu du script, puis le plan complet.

L’audio porte l’essentiel de l’interprétation. Une courte consigne aide quand vous voulez un type de mouvement précis. Décrivez la façon de dire, pas les mots eux-mêmes.

Certains spectateurs de la démo de lancement de BytePlus ont remarqué que le fond bougeait pendant que la personne parlait. Les modèles pilotés par l’audio génèrent chaque pixel de chaque image, pas seulement le visage. Tout ce que contient la photo peut donc dériver : les personnes derrière l’orateur, les étagères, les enseignes, les motifs. Plus il y a de choses à dessiner, plus il y en a qui bougent.

Nous l’avons testé sur Morphic avec le même visage, la même voix et deux fonds différents. Dans la version « café animé », les personnes derrière elle tournent la tête et bougent d’elles-mêmes. Le fond y change environ 2,3 fois plus d’une image à l’autre que sur le mur uni.

Cinq étapes pour garder un fond stable :

1. Choisissez un fond uni ou flou. Si vous n’avez qu’une photo chargée, remplacez d’abord le fond par un mur uni en gardant la même personne. C’est ainsi que nous avons fait la version unie ci-dessus.
2. Gardez un seul visage dans le cadre. Recadrez ou supprimez tous les autres, même flous, même sur le bord.
3. Évitez les détails fins derrière la personne : texte, carrelage, étagères d’objets minuscules, guirlandes lumineuses.
4. Ajoutez « le fond reste fixe » à la consigne de jeu.
5. Si un passage d’un plan long dérive encore, relancez ce passage seul et insérez-le au montage, pendant une pause de la parole, là où la coupe se remarque le moins.

Notre test a utilisé Veed Fabric sur Morphic, car OmniHuman 2.0 n’est pas encore sur Morphic. La cause est la même pour tout modèle qui dessine l’image entière à partir d’une seule photo, et les mêmes réglages s’appliquent.

Les deux transforment une photo et une piste audio en vidéo parlante. Veed Fabric est disponible sur Morphic dès aujourd’hui, et tous les exemples de ce guide ont été réalisés avec lui. OmniHuman 2.0 arrive bientôt.

1. Ouvrez Copilot et joignez une photo avec un seul visage net et un fond uni.
2. Joignez votre voix ou votre chanson, ou demandez à Copilot de générer d’abord la voix à partir de votre script.
3. Demandez une vidéo parlante avec Veed Fabric, ajoutez une courte consigne de jeu, puis téléchargez le résultat ou ouvrez-le dans l’éditeur.