SAM 3.1

Overview

SAM 3.1은 Meta의 Segment Anything 모델의 최신 버전이고, 결과물은 마스크입니다. 마스크는 피사체가 프레임 어디에 있는지 정확히 보여 주는 흑백 이미지입니다. 한 프레임에서 피사체를 가리키거나 몇 단어로 설명하면 모델이 대상을 찾고, 움직이는 동안에도 놓치지 않습니다. 결과는 영상과 프레임 단위로 맞물리는 마스크 영상입니다.

예전에는 이 단계가 가장 오래 걸렸습니다. 움직이는 피사체 둘레에 도형을 그리면 몇 프레임마다 다시 그려야 했고, 도형은 끝내 딱 맞지 않았습니다. 추적된 마스크가 있으면 그 피사체만 색 보정하고, 흐리게 하고, 조명을 바꾸고, 다른 것으로 교체할 수 있습니다. 나머지 화면은 렌더링된 그대로 둡니다. 인물 영상에서 배경만 갈아 끼우는 숏폼 편집이나, 한국에서 흔히 누끼 딴다고 부르는 피사체 분리 작업에 특히 잘 맞습니다.

Meta는 SAM 3.1을 2026년 3월 27일에 SAM 3의 대체 버전으로 공개했고, Morphic에는 2026년 11월 4일에 추가되었습니다.

SAM 3.1이 피사체를 읽는 방법

SAM 3는 Meta가 프롬프트형 개념 분할이라고 부르는 방식을 도입했습니다. 점과 박스만 받던 방식에서 나아가, 짧은 문구를 받아 그 개념에 해당하는 모든 대상을 찾습니다. Morphic에서는 두 방식을 모두 쓸 수 있습니다. 클릭과 박스는 어디를 볼지 알려 주고, 문구는 무엇을 찾을지 알려 줍니다. 같은 화면의 두 사람 중 한 명을 고를 때 이 조합이 쓰입니다. 한계도 Meta가 분명히 밝혔습니다. 짧은 명사구는 되지만 위에서 두 번째 선반 오른쪽에서 두 번째 책처럼 긴 복합 문장은 안 됩니다.

3.1 릴리스의 초점은 이 작업을 한 번에 더 많이 처리하는 것입니다. Meta에 따르면 오브젝트 멀티플렉싱으로 객체마다 한 번씩 돌리지 않고 한 번의 순방향 처리로 최대 16개를 추적합니다. 그 결과 H100 GPU 한 장에서 처리량이 초당 16프레임에서 32프레임으로 올라갑니다.

Morphic에서 쓰는 SAM 3.1

타임라인 편집기 Compose에서 클립을 선택하고 Track subject 마스크를 추가하세요. Copilot에 추적을 맡겨도 됩니다. 피사체가 가장 또렷한 프레임에서 지정하고 Forward, Backward, Both 중 하나를 고르면, 완성된 마스크가 클립 위에 매트로 붙습니다. 이 매트는 페더를 주고, 반전하고, 다른 마스크와 합칠 수 있습니다. Canvas에서는 같은 모델이 이미지를 맡습니다. Auto-segment는 그림을 레이어로 나누고, Separate as layer는 대상 하나를 뽑아냅니다.

모든 옵션을 순서대로 보려면 SAM 3.1 가이드를 읽어 보세요. 모델이 아니라 피사체 분리가 목적이라면 AI 로토스코핑에서 시작하는 편이 빠릅니다. 3.1에서 달라진 점은 SAM 3.1 vs SAM 3에서 볼 수 있습니다.