SAM 3.1 vs SAM 3

SAM 3.1 vs SAM 3

SAM 3와 SAM 3.1은 같은 모델의 두 릴리스입니다. Meta의 Segment Anything은 클릭, 박스, 짧은 설명만으로 이미지와 영상 속 객체를 찾아 분할하고 추적합니다. SAM 3.1은 새로 만든 모델이 아닙니다. Meta는 이를 드롭인 대체 모델이라고 설명하며, 추가된 것은 객체 멀티플렉싱 하나입니다.

그러면 이 차이가 내 작업에 와닿느냐가 관건입니다. 피사체가 하나인 작업이라면 거의 그렇지 않습니다. 반면 한 장면에 여러 피사체가 있다면 이 변화가 전부입니다. 숏폼 편집에서 인물 여럿을 따로 분리해야 하는 경우가 대표적입니다.

SAM 3.1 vs SAM 3: 사양 비교

Meta가 릴리스별로 공개한 수치입니다.

항목SAM 3.1SAM 3
공개일2026년 3월 27일SA-Co 벤치마크와 함께 발표
관계SAM 3의 드롭인 대체기본 릴리스
1회 처리 객체 수최대 16개, 멀티플렉싱1회에 객체 1개
영상 처리량H100 1장에서 초당 32프레임H100 1장에서 초당 16프레임
객체 추가 시 비용추적 객체끼리 연산을 공유객체마다 masklet을 따로 돌려 선형으로 증가
프롬프트 방식클릭, 박스, 마스크, 텍스트 또는 이미지 예시클릭, 박스, 마스크, 텍스트 또는 이미지 예시
이미지와 영상둘 다 지원둘 다 지원
단일 이미지 속도SAM 3와 동일H200에서 객체 100개 이상일 때 약 30ms
공개 범위체크포인트 공개가중치, 코드, 평가 세트 공개
Morphic 지원예, 피사체 추적과 누끼로 제공아니요

SAM 3.1에서 달라진 점

  • 여러 객체가 연산을 두고 다투지 않습니다. SAM 3는 객체마다 따로 연산을 돌렸고, 프레임별로 인코딩한 화면만 공유했습니다. 그래서 피사체를 하나 더하면 실행을 한 번 더 하는 것과 비슷한 비용이 들었습니다. SAM 3.1은 추적 객체를 한꺼번에 묶어 1회 연산으로 처리하며, 최대 16개까지 가능합니다.
  • 처리량이 Meta 측정 기준으로 2배가 됩니다. Meta는 객체 수가 보통인 영상에서 H100 1장 기준 초당 16프레임에서 32프레임으로 늘었다고 밝힙니다. 멀티플렉싱이 중복 연산을 없앤 결과라는 설명입니다.
  • 복잡한 장면도 현실적으로 쓸 수 있게 됩니다. 중요한 것은 단순한 속도가 아닙니다. 그동안 피하던 샷이 대상입니다. 여러 명이 모인 장면, 진열대의 제품, 도로의 차량, 출연자가 여럿인 무대 같은 경우입니다.

SAM 3가 이미 하던 일, 3.1도 그대로

  • 개념 단위 프롬프트 분할. 자전거 탄 사람처럼 짧은 명사구를 적으면, 클릭한 하나만이 아니라 그 개념에 해당하는 모든 인스턴스를 찾습니다. Meta는 SA-Co 벤치마크에서 기존 모델의 약 2배인 cgF1 점수를 기록했고, 사람들이 OWLv2보다 이 결과를 약 3대 1로 선호했다고 밝혔습니다.
  • 프롬프트 방식 네 가지도 동일합니다. 클릭, 박스, 마스크는 이전 Segment Anything 모델에서 이어졌고, 텍스트와 이미지 예시는 SAM 3에서 추가됐습니다. 3.1에서 바뀐 것은 없으므로 SAM 3용으로 쓴 내용은 그대로 적용됩니다.
  • 한계도 그대로입니다. 긴 복합 문장형 설명은 여전히 범위 밖입니다. Meta는 세밀하거나 학습 영역 밖에 있는 개념에는 파인튜닝 전까지 약하다고 설명합니다.

Morphic에서 쓰는 버전

Morphic은 SAM 3.1을 사용합니다. 타임라인 편집기인 Compose에서는 Track subject mask로 쓰입니다. 한 프레임에서 피사체를 표시하고 방향을 고르면, 피사체를 따라가는 마스크 영상이 돌아옵니다. Canvas에서는 스틸 이미지용 Auto-segment와 Separate as layer로 쓰입니다. 버전을 고를 필요도 없고, 프롬프트 방식이 같아서 SAM 3용으로 쓴 내용을 고칠 일도 없습니다.

Morphic에서 쓰는 SAM 3.1: 왼쪽은 원본 화면, 오른쪽은 돌려받은 마스크입니다.

3.1의 차이가 실제로 드러나는 곳은 분리할 대상이 여럿인 클립입니다. 장면 속 네 사람을 추적하려면 피사체 네 곳을 표시하고 마스크 네 개를 받는 과정은 어느 버전이든 같습니다. 달라진 것은 그 뒤에서 쓰이는 연산량입니다.

전체 기능은 SAM 3.1 모델 페이지에서 볼 수 있습니다. 사용 순서는 SAM 3.1로 피사체 추적하는 방법을, 작업 자체가 궁금하다면 AI 로토스코핑을 참고하세요.

자주 묻는 질문

SAM 3.1은 SAM 3보다 마스크를 더 잘 만드나요?

Meta는 3.1을 정확도가 아니라 속도와 처리 용량의 변화로 소개합니다. 문서로 확인되는 차이는 객체 멀티플렉싱과 그로 인한 처리량이며, 새로운 품질 우위를 내세운 것은 아닙니다.

SAM 3.1에서는 프롬프트를 바꿔야 하나요?

아니요. 클릭, 박스, 마스크, 짧은 텍스트 문구, 이미지 예시라는 프롬프트 방식이 그대로입니다. Meta도 3.1을 드롭인 대체 모델이라고 부릅니다.

SAM 3.1로 누끼도 딸 수 있나요?

네. Morphic의 Canvas에서는 스틸 이미지에 Auto-segment와 Separate as layer를 쓸 수 있어, 피사체를 레이어로 분리해 누끼처럼 활용할 수 있습니다. 영상에서는 Compose의 Track subject mask로 피사체를 따라가는 마스크를 얻습니다.

SAM 3.1은 몇 개의 객체를 동시에 추적하나요?

Meta는 1회 연산에서 최대 16개 객체라고 밝힙니다. Morphic에서도 클립 하나에 피사체당 마스크 하나씩, 최대 16개를 둘 수 있습니다.

Morphic에서 SAM 3를 그대로 쓸 수 있나요?

아니요. Morphic은 SAM 3.1만 사용합니다. 프롬프트 방식이 같아서 옮겨 갈 작업은 없습니다.

SAM 3.1이 클립에 올릴 수 있는 마스크 수도 바꾸나요?

아니요. 그 한도는 모델이 아니라 Morphic의 것입니다. 클립 하나에는 추적한 마스크든 직접 그린 마스크든 조합에 관계없이 최대 16개를 둘 수 있습니다. Meta가 밝힌 1회 16개 객체는 모델이 처리하는 방식에 관한 수치이지, 사용자가 쓸 수 있는 개수의 제한이 아닙니다.

속도 수치는 어디에서 나온 건가요?

모델에 관한 Meta의 자체 게시글입니다. 초당 16~32프레임은 H100 1장에서 측정한 값이고, SAM 3의 단일 이미지 약 30밀리초는 객체 100개 이상을 찾은 H200 기준입니다.