OmniHuman 2.0 사용 가이드

OmniHuman 2.0은 사진 한 장에서 시작해 오디오에 맞춰 연기 전체를 만들어 냅니다. 어떤 소리가 들어 있는지만 보지 않고 말하는 방식까지 읽기 때문에, 얼굴에 트랙의 분위기가 그대로 담깁니다. 소리를 켜고 확인해 보세요.

2.0이 달라진 점은 세 가지입니다. BytePlus 출시 글에 따른 내용입니다.

넣는 것은 두 가지이고, 세 번째는 선택입니다. 대부분의 영상은 앞의 두 가지면 충분합니다.

결과를 가장 크게 좌우하는 것은 사진입니다. 모델은 보이는 것을 그대로 살리므로, 선명하고 조명이 좋은 얼굴이면 연기도 선명하게 나옵니다.

점토 캐릭터와 일러스트도 쓸 수 있습니다. 눈과 입이 또렷이 읽히게 얼굴을 분명히 그려 주세요.

오디오가 곧 연기이므로, 목소리를 어떻게 전하느냐가 화면에 그대로 나옵니다. 목소리를 먼저 만들거나 녹음하고, 영상을 돌리기 전에 꼭 들어 보세요.

같은 모델이라도 말하는 방식이 다르면 결과가 크게 달라집니다. 속삭임, 외침, 웃음은 저마다 다른 연기로 나옵니다.

한 샷이 최대 5분까지 이어집니다. 2.0 이전에는 60초가 넘으면 나눠서 만든 뒤 이어 붙여야 했고, 이음매마다 얼굴이나 조명, 배경이 튀곤 했습니다. 사진과 오디오가 끝까지 받쳐 준다면 원테이크로 이 문제를 피할 수 있습니다.

1. 대본을 끝까지 쓰고 목소리를 한 번에 만드세요. 처음부터 끝까지 톤이 같아집니다.
2. 영상을 만들기 전에 한 번 끝까지 듣고 잘못 읽은 단어를 고치세요. 나중에 고치면 전체를 다시 돌려야 합니다.
3. 차분하고 중립적인 표정의 사진을 고르세요. 첫 대사만이 아니라 트랙의 모든 순간에 맞아야 합니다.
4. 대본 중간에서 20초만 먼저 테스트하고, 그다음 전체를 돌리세요.

연기의 대부분은 오디오가 맡습니다. 특정한 움직임이 필요할 때만 짧은 연출 한 줄을 더하세요. 대사가 아니라 전달 방식을 적습니다.

BytePlus의 출시 데모를 본 초기 시청자 중에는 말하는 동안 배경이 흔들린다고 느낀 사람이 있었습니다. 오디오 기반 모델은 얼굴만이 아니라 모든 프레임의 모든 픽셀을 새로 그리기 때문에, 사진 속 어느 것이든 흐트러질 수 있습니다. 인물 뒤의 사람, 선반, 간판, 무늬가 그렇습니다. 그릴 것이 많을수록 움직일 것도 많아집니다.

Morphic에서 같은 얼굴과 같은 목소리, 서로 다른 두 배경으로 직접 테스트했습니다. 사람이 많은 카페 버전에서는 뒤쪽 사람들이 제멋대로 고개를 돌리고 움직였고, 프레임 사이 배경 변화량은 단색 벽 버전보다 약 2.3배 컸습니다.

배경을 고정하는 방법은 다섯 가지입니다.

1. 단색이거나 흐릿한 배경을 쓰세요. 복잡한 사진뿐이라면 인물은 그대로 두고 배경만 단색 벽으로 먼저 편집하세요. 위의 단색 버전도 이렇게 만들었습니다.
2. 프레임에 얼굴을 하나만 두세요. 흐릿하든 가장자리에 있든 다른 사람은 잘라 내거나 지우세요.
3. 인물 뒤의 잔 디테일을 피하세요. 글자, 타일, 작은 물건이 쌓인 선반, 전구 장식이 그렇습니다.
4. 연출 한 줄에 “배경은 그대로”를 넣으세요.
5. 긴 테이크에서 한 구간만 계속 흔들리면 그 구간만 따로 다시 만들어 끼워 넣으세요. 컷이 가장 덜 눈에 띄는, 말이 쉬는 지점이 좋습니다.

이 테스트는 OmniHuman 2.0이 아직 Morphic에 없어서 Veed Fabric으로 했습니다. 사진 한 장에서 프레임 전체를 그리는 모델이라면 원인이 같으므로, 같은 해법이 통합니다.

둘 다 사진 한 장과 오디오 한 개로 말하는 영상을 만듭니다. Veed Fabric은 지금 Morphic에서 쓸 수 있고, 이 가이드의 모든 예시도 Veed Fabric으로 만들었습니다. OmniHuman 2.0은 곧 출시됩니다.

1. Copilot을 열고 얼굴이 또렷하고 배경이 단순한 사진을 첨부하세요.
2. 내 목소리나 노래 트랙을 첨부하세요. 대본만 있다면 Copilot에게 목소리부터 만들어 달라고 해도 됩니다.
3. Veed Fabric으로 말하는 영상을 요청하고 연출 한 줄을 덧붙인 뒤, 결과를 내려받거나 편집기에서 여세요.