AI 모션 트랜스퍼의 원리와 레퍼런스 영상 준비법

AI 모션 트랜스퍼는 무엇을 하나요

AI 모션 트랜스퍼는 한 영상의 동작을 다른 캐릭터에게 입히는 기술입니다. 레퍼런스 영상과 캐릭터 이미지를 넣으면, 내 캐릭터가 그 동작을 그대로 해냅니다. 숏폼 댄스 챌린지의 안무를 웹툰 캐릭터나 브랜드 마스코트가 추게 하는 작업이 대표적입니다.

시스템은 레퍼런스 영상을 프레임 단위로 읽고, 그 움직임을 캐릭터에 옮깁니다.

• 옮겨지는 것: 자세, 제스처, 타이밍, 팔다리의 궤적, 걸음의 리듬입니다.
• 그대로 남는 것: 캐릭터 이미지 속 얼굴과 비율, 외모, 그리고 장면입니다.
• 프롬프트보다 나은 이유: “자신 있게 걷는다”라고 써도 걸음은 열 가지로 나옵니다. 레퍼런스 영상이 있으면 추측이 사라지고, 움직임이 자연스러워 보입니다.

AI 모션 트랜스퍼 예시

같은 레퍼런스 댄스를 두 가지 방식으로 옮긴 예시입니다. 모션 트랜스퍼는 우주비행사 캐릭터 이미지를 붉은 사막으로 데려가 같은 춤을 추게 합니다. Morphic Recast는 원래의 옥상, 카메라, 조명을 그대로 두고 춤추는 사람만 바꿉니다.

걷기는 가장 깔끔하게 옮겨지는 동작입니다. 걸음의 속도와 뒤돌아보는 시선은 레퍼런스에서 가져옵니다. 남자와 코트, 가을 공원은 캐릭터 이미지에서 옵니다.

Morphic에서 모션 트랜스퍼 하는 방법

Motion control은 Canvas 위에서 바로 실행됩니다. 결과 영상이 다른 샷 옆에 놓이므로, 내보내지 않고 자르고 늘리고 음악을 입힐 수 있습니다.

말로 요청하고 싶다면 Copilot에 같은 파일 두 개를 첨부하세요. 요청에서 각각을 이름으로 부르면, Copilot이 모션 트랜스퍼를 대신 실행합니다.

모션 트랜스퍼에서 잘 되는 것과 깨지는 것

잘 되는 경우

• 화면에 꽉 찬 전신 동작: 걷기, 춤, 제스처, 스포츠 동작이 해당합니다. 숏폼 댄스 챌린지의 안무도 여기에 들어갑니다.
• 일정한 리듬: 몸 흔들기, 걸음, 손 흔들기는 모델에 깔끔한 신호를 줍니다.
• 비슷한 체형: 레퍼런스 속 인물과 비율이 가까운 캐릭터일수록 정체성이 잘 유지됩니다.

깨지기 쉬운 경우

• 가림: 인물이 잘리거나 가려지거나 등을 돌리면, 모델이 자세를 짐작해야 합니다.
• 빠르고 작은 디테일: 손가락과 빠른 손동작, 미세한 표정이 가장 먼저 일그러집니다.
• 맞지 않는 형태: 네 발 동물에 사람의 춤을 입히면 무리가 드러납니다.
• 긴 테이크: 클립이 길어지면 뒤쪽에서 정체성이 흔들릴 수 있습니다. 짧은 레퍼런스가 더 안정적입니다.

모션 트랜스퍼용 레퍼런스 영상 준비법

모션 트랜스퍼, 영상 스타일 변환, Recast 중 무엇을 쓸까요

이미 가진 모션이나 영상으로 작업하는 도구가 네 가지 있습니다. 무엇을 남겨야 하는지로 고르세요.

레퍼런스 하나가 잘 맞으면 다시 쓰세요. Copilot에 같은 영상을 새 캐릭터마다 실행해 달라고 요청하면 됩니다. 단계별 설명은 영상 속 모션을 AI 캐릭터에 옮기는 방법에서 볼 수 있습니다.