세그멘테이션(Segmentation)
세그멘테이션(Segmentation)이란?
세그멘테이션은 이미지의 어떤 픽셀이 어떤 사물에 속하는지를 정확히 식별하는 AI의 능력입니다. 예를 들어 배경과 분리하여 사람을 정밀하게 윤곽 잡는 것입니다. 자동 배경 제거, 스마트 로토스코핑, 선택적 편집을 가능하게 하는 기술입니다.
한눈에 보기
- 다른 이름
- 이미지 세그멘테이션시맨틱 세그멘테이션인스턴스 세그멘테이션마스킹
- 주요 용도
- 로토스코핑과 배경 제거선택적 컬러 그레이딩VFX를 위한 사물 분리AI 인페인팅과 아웃페인팅신 이해
- 주로 쓰이는 도구
- Meta SAMAdobe fireflyDaVinci resolveAfter effects roto brushTopaz video AIRunway
- 관련 용어
- MaskingRotoscopingInpaintingOptical flowObject persistence
지금 만들어 볼까요?
장면을 연출하고, 캐릭터를 디자인하고, 한 편의 영화까지 완성하세요
단순하고 투명한 요금제, 속도 제한 없음, 무한한 Canvas로 창의력을 극대화하는 올인원 AI 크리에이티브 플랫폼.
다른 개념과의 비교
Compared with related concepts
세그멘테이션 대 사물 검출(Object Detection): 사물 검출은 이미지에 어떤 사물이 있는지 식별하고 그 주위에 바운딩 박스를 그리지만, 각 사물의 정확한 픽셀 경계는 결정하지 않습니다. 세그멘테이션은 한 걸음 더 나아가 정밀한 픽셀 단위 마스크를 만들어 냅니다. 많은 VFX 응용에서 바운딩 박스는 정밀도가 부족합니다. 깨끗하고 프레임 단위로 정확한 마스크가 필요하므로, 세그멘테이션이 적절한 도구가 됩니다.
이렇게 생각해 보세요…
세그멘테이션은 사진 에이전시의 숙련된 컷팅 작업자와 같습니다. 잡지 펼침면이 주어지면 가위를 들고 각 사람, 자동차, 나무 주위를 정밀하게 잘라 냅니다. 단순히 주위에 거친 사각형을 그리는 것이 아니라 모든 윤곽을 정확히 따라갑니다. 그 결과는 어떤 조합으로든 다시 조립할 수 있는, 개별적으로 잘라 낸 요소들의 묶음입니다. AI 세그멘테이션은 같은 일을 영상의 모든 프레임에 대해 자동으로 합니다.
프로 팁
로토스코핑을 위해 AI 세그멘테이션 도구를 사용할 때는 항상 피사체 가장자리의 출력 마스크를 검토하세요. 머리카락, 얇은 직물, 모션 블러는 세그멘테이션 모델이 일관되게 가장 어려워하는 영역이며, 일반적인 보기에서는 보이지 않는 작은 가장자리 오류가 큰 화면이나 합성물이 컬러 그레이딩될 때 두드러질 수 있습니다. 컴핑하기 전에 이러한 영역에는 가장자리 정제 도구나 수작업 보정 패스를 사용하세요.
유형과 변형
- 세그멘테이션은 여러 기술적 하위 유형으로 나뉩니다.
- 시맨틱 세그멘테이션은 같은 카테고리의 여러 인스턴스를 구분하지 않고 각 픽셀을 카테고리(하늘, 사람, 자동차)에 할당합니다.
- 인스턴스 세그멘테이션은 별개의 사물 인스턴스를 각각 식별하고 마스킹하여 사람 A와 사람 B를 구분합니다.
- 파놉틱 세그멘테이션은 두 접근을 결합하여 모든 픽셀에 카테고리와 인스턴스 ID를 함께 라벨링합니다.
- 영상 사물 세그멘테이션은 지정된 사물을 시간에 걸쳐 프레임을 가로질러 추적합니다.
- 프롬프트 가능한 세그멘테이션(SAM처럼)은 카테고리 사전 학습 없이 사용자가 무엇을 분할할지 인터랙티브하게 지정할 수 있게 합니다.
- 각 하위 유형은 프로덕션 워크플로에서 별개의 응용과 정확도 특성을 갖습니다.
Morphic에서 첫 장면을 만들어 볼까요?
Morphic 체험하기주요 활용 사례
- 세그멘테이션은 시각효과와 후반 작업 전반에 폭넓게 사용됩니다.
- 합성에서는 그린스크린 교체와 보이지 않는 세트 확장을 위한 정밀한 피사체 추출을 가능하게 합니다.
- 컬러 그레이딩에서는 수작업 마스킹 없이 피부, 하늘, 의상에 선택적 조정을 할 수 있게 합니다.
- AI 생성 워크플로에서는 표적 인페인팅이나 스타일 트랜스퍼를 위한 영역을 식별합니다.
- 가상 프로덕션 모니터링에서는 실시간 세그멘테이션이 피사체 위치를 감지하고 라이브 증강현실 요소를 구동할 수 있습니다.
- 다큐멘터리와 뉴스 제작에서는 AI 세그멘테이션을 활용한 자동 배경 교체로, 현장 리포터가 물리적 그린스크린 없이 스튜디오 환경에 합성될 수 있게 합니다.
지금 만들어 볼까요?
장면을 연출하고, 캐릭터를 디자인하고, 한 편의 영화까지 완성하세요
단순하고 투명한 요금제, 속도 제한 없음, 무한한 Canvas로 창의력을 극대화하는 올인원 AI 크리에이티브 플랫폼.
FAQ
SAM은 Meta AI가 2023년에 공개한 프롬프트 가능한 세그멘테이션 모델로, 10억 개가 넘는 마스크 어노테이션으로 학습되었습니다. 그 중요성은 범용성에 있습니다. 특정 카테고리를 분할하도록 학습되는 대신, SAM은 점 클릭, 바운딩 박스, 또는 텍스트 프롬프트를 기반으로 어떤 이미지의 거의 모든 사물을 분할할 수 있습니다. 이는 SAM을 맞춤형 세그멘테이션 도구를 구축하기 위한 다재다능한 토대로 만듭니다.
가는 머리카락, 털, 반투명 직물, 그리고 투명하거나 반사하는 표면은 모든 세그멘테이션 모델에게 여전히 어렵습니다. 정확도가 극적으로 향상되었지만, 이러한 경우는 전문 프로덕션에서 여전히 수작업 정제가 필요한 것이 일반적입니다. AI 세그멘테이션을, (부드럽고 반투명한 가장자리를 더 잘 다루는) 전용 매팅 알고리즘과 결합하면 가장 좋은 결과를 얻습니다.
그렇습니다. 더 가볍고 최적화된 세그멘테이션 모델은 현대 GPU에서 실시간으로, 일부 경우에는 CPU에서도 작동합니다. 실시간 세그멘테이션은 영상 회의 배경 제거, 라이브 방송 효과, 그리고 점점 더 현장 가상 프로덕션 모니터링 도구에 사용됩니다.
수작업 로토스코핑은 아티스트가 피사체 주위에 프레임 단위로 마스크를 손으로 그리는 작업입니다. 극도로 시간이 많이 들지만 완벽한 정확도가 가능합니다. AI 세그멘테이션은 몇 초 만에 양호에서 우수한 수준의 결과를 자동으로 만들어 내지만, 보통 검토와 보정 패스가 필요합니다. 대부분의 프로덕션에서 AI 세그멘테이션은 이제 아티스트가 처음부터 그리는 대신 정제할 베이스 마스크를 제공합니다.
세그멘테이션은 인페인팅할 특정 영역을 식별합니다. 예를 들어 제거할 원치 않는 사물을 분리합니다. 그다음 세그멘테이션 마스크가 인페인팅 모델로 전달되어, 마스킹된 영역을 맥락에 적합한 콘텐츠로 채웁니다. 정확한 세그멘테이션 마스크는 더 깨끗한 인페인팅 결과와 직접 연관됩니다. 부정확한 마스크는 눈에 보이는 경계 아티팩트를 만들기 때문입니다.
단일 프레임 세그멘테이션은 각 이미지를 독립적으로 다룹니다. 시간적 영상 세그멘테이션은 프레임 전반에 걸쳐 일관된 사물 정체성을 유지하며, 피사체가 움직일 때 마스크가 어떻게 변하는지 추적합니다. 이는 모델이 프레임 간 특징을 연관시키고, 드리프트에 저항하며, 가림 현상을 깔끔하게 다룰 것을 요구합니다. 프레임 단위 처리보다 훨씬 어렵고, 전문 합성 용도에 더 중요합니다.
