Guia do OmniHuman 2.0

O OmniHuman 2.0 parte de uma única foto e constrói toda a performance a partir do seu áudio. Ele escuta como cada frase é dita, e não só quais sons ela contém, então o rosto carrega o clima da faixa. Serve para a videoaula do seu curso online, para um Reels ou para um clipe de TikTok: a foto e a voz bastam. Ligue o som para ouvir.

Três mudanças separam a versão 2.0 das anteriores, segundo o post de lançamento da BytePlus.

Você entrega duas coisas, e uma terceira é opcional. A maioria dos vídeos só precisa das duas primeiras.

A foto pesa mais no resultado do que qualquer outra coisa. O modelo mantém o que vê: um rosto nítido e bem iluminado gera uma performance nítida e bem iluminada. Se for tirar a foto no celular, prefira a luz natural de uma janela.

Personagens de argila e ilustrações também funcionam. Desenhe o rosto com clareza, com olhos e boca fáceis de ler.

O áudio é a performance, então o jeito de dizer a frase é o que aparece na tela. Grave ou gere a voz primeiro e ouça tudo antes de rodar o vídeo.

O mesmo modelo lê entregas muito diferentes. Um sussurro, um grito e uma risada resultam em três performances distintas.

Uma única tomada pode durar até 5 minutos. Antes da versão 2.0, tudo acima de 60 segundos era gerado em pedaços e emendado, e o rosto, a luz ou o fundo podiam dar um salto em cada emenda. Um plano longo evita isso, desde que a foto e o áudio aguentem a duração inteira.

1. Escreva o roteiro completo e gere a voz de uma só vez, para o tom ficar igual do começo ao fim.
2. Ouça tudo uma vez e corrija qualquer palavra mal pronunciada antes de gerar o vídeo. Corrigir depois significa rodar a tomada inteira de novo.
3. Escolha uma foto com expressão calma e neutra. Ela precisa servir para todos os momentos da faixa, e não só para a primeira frase.
4. Rode primeiro um teste de 20 segundos tirado do meio do roteiro. Só depois rode a tomada completa.

O áudio carrega quase toda a performance. Uma linha de direção curta ajuda quando você quer um tipo de movimento. Descreva a entrega, e não as palavras.

Alguns dos primeiros espectadores da demo de lançamento da BytePlus notaram o fundo mudando enquanto a pessoa falava. Modelos guiados por áudio geram cada pixel de cada quadro, e não só o rosto, então qualquer coisa na foto pode se deslocar: gente atrás de quem fala, prateleiras, placas, estampas. Quanto mais coisa para desenhar, mais coisa para se mexer.

Fizemos esse teste no Morphic, com o mesmo rosto, a mesma fala e dois fundos. Na versão do café movimentado, as pessoas atrás dela viram a cabeça e se mexem sozinhas, e o fundo muda cerca de 2,3 vezes mais de um quadro para o outro do que na versão com parede lisa.

Cinco passos mantêm o fundo parado:

1. Use um fundo liso ou desfocado. Se você só tem uma foto cheia de gente ao fundo, edite o fundo para uma parede lisa antes, mantendo a pessoa igual. Foi assim que fizemos a versão lisa acima.
2. Deixe só um rosto no quadro. Corte ou remova qualquer outra pessoa, mesmo desfocada, mesmo na borda.
3. Evite detalhes finos atrás da pessoa: textos, azulejos, prateleiras com objetos pequenos, pisca-pisca.
4. Acrescente “o fundo fica parado” à linha de direção.
5. Se um trecho de uma tomada longa ainda se desloca, rode só esse trecho de novo e encaixe no corte, em uma pausa da fala, onde a emenda é menos perceptível.

Nosso teste usou o Veed Fabric no Morphic, porque o OmniHuman 2.0 ainda não está no Morphic. A causa é a mesma em qualquer modelo que desenha o quadro inteiro a partir de uma foto, então as mesmas correções valem.

Os dois transformam uma foto e uma faixa de áudio em um vídeo falante. O Veed Fabric já está disponível no Morphic hoje, e todos os exemplos deste guia foram feitos com ele. O OmniHuman 2.0 chega em breve.

1. Abra o Copilot e anexe uma foto com um rosto nítido e um fundo liso.
2. Anexe sua faixa de voz ou de música, ou peça ao Copilot para gerar antes a voz a partir do seu roteiro.
3. Peça um vídeo falante com o Veed Fabric, acrescente uma linha de direção curta e baixe o resultado ou abra no editor.