ByteDance Bernini: AI 영상 편집과 프롬프트 완벽 가이드

일관성 잠금 편집

플래너가 렌더러보다 먼저 의미를 확정하기 때문에, Bernini은 바꾸라고 요청하지 않은 부분을 그대로 유지합니다. 무엇을 편집할지 명시하고 무엇을 고정할지 명시하면, 손대지 않은 영역은 영상 전체에서 깜빡임이나 흐트러짐 없이 그대로 유지됩니다. 이것이 이 모델의 가장 강력한 편집 특성입니다.

참조 기반 편집

참조 이미지나 두 번째 클립을 넣으면 Bernini이 그것을 원본 영상에 적용합니다. 한 장의 정지 이미지로 움직이는 피사체에 의상을 입히거나, 제품 또는 화면 영상을 삽입해 원본 푸티지를 따라가게 할 수 있습니다. 나머지 원본 클립은 변경 부분 주위에서 그대로 유지됩니다.

서브젝트 투 비디오

참조 이미지를 전달하고 프롬프트에서 인덱스로 각각을 가리켜(image0, image1), 어떤 피사체나 속성이 어느 이미지에서 오는지 지정합니다. Bernini은 움직이는 동안에도 얼굴을 알아볼 수 있게 피사체를 새로운 장면으로 옮기며, 이는 ByteDance의 서브젝트 투 비디오 평가에서 돋보이는 결과입니다.

모션 편집

기존 클립 안에서 피사체가 하는 동작을 바꿉니다. 예를 들어 인물이 허리를 숙이는 대신 웅크리게 하면서, 정체성, 프레이밍, 조명, 배경은 그대로 유지됩니다. 테이크를 다시 촬영하지 않고 동작을 다시 잡습니다.

이미지 + 영상 통합

한 모델이 텍스트 투 이미지, 이미지 편집, 텍스트 투 비디오, 영상 편집을 모두 처리하므로, 정지 이미지와 움직이는 편집이 동일한 프롬프트 언어에서 나옵니다. 지시하는 방식 하나를 익히면 두 형식 모두에 적용할 수 있습니다.

Bernini에서 품질의 대부분은 두 가지 습관에서 나옵니다.

• 설명이 아니라 지시를 쓰세요. 편집은 기존 클립을 바꾸는 작업이므로 프롬프트는 지시문입니다. 무엇을 추가, 제거, 변경할지, 그리고 어디에 할지 명시합니다. 생성(텍스트 투 비디오, 텍스트 투 이미지)에서는 평소처럼 장면 전체를 설명합니다.
• 무엇이 바뀌는지 명시한 다음, 무엇이 유지되는지 명시하세요. 렌더러는 어떤 영역이든 손댈 수 있으므로, 가장 안정적인 편집은 변경 사항을 명시한 뒤 움직이면 안 되는 모든 것을 고정합니다. 두 번째 습관이 바로 일관성 잠금이며, 다음에서 다룹니다.

상세하고 구조화된 지시는 간단한 지시를 능가합니다. Bernini의 플래너는 한 줄짜리 명령에 기대기보다 크기, 배치, 재질, 그리고 새 요소의 조명이 장면과 어떻게 맞물리는지를 풀어서 적을 때 더 잘 작동합니다.

렌더러는 손대지 않은 영역을 잘 유지하지만, 그것이 무엇인지 프롬프트가 알려줄 때만 그렇습니다. 패턴은 편집을 정확히 명시한 다음, 변하지 않고 유지되어야 할 모든 것을 나열하고 "그대로 유지"로 끝내는 것입니다. 제거도 같은 방식으로 작동합니다. 채울 부분을 설명한 뒤 주변을 고정하세요.

잠금을 건너뛰면 모델이 배경을 자유롭게 다시 그릴 수 있습니다. 여기에 한 문장만 쓰면 편집이 원본 샷에 원래 있던 것처럼 읽힙니다.

• 잠금 없음: 무엇이 그대로 유지되는지 명시하세요. 그러지 않으면 편집이 프레임 나머지로 번집니다.
• 간단한 지시: 세 단어짜리 명령 대신 새 요소를 크기, 배치, 재질, 조명까지 충분히 설명하세요.
• 모호한 참조: 서브젝트 투 비디오에서는 "이 참조들을 사용"이 아니라 각 이미지를 인덱스로 참조하고(image0, image1) 어떤 속성이 어디서 오는지 말하세요.
• 정체성을 움직이는 모션 편집: 움직임을 바꿀 때는 인물, 의상, 위치, 카메라를 고정해 동작만 바뀌게 하세요.
• 4K를 기대하기: 기본 렌더는 16fps의 480p로, 해상도보다 편집 충실도에 맞춰져 있습니다. 손대지 않은 영역을 얼마나 깔끔하게 유지하는지로 판단하세요.