잠재 공간(Latent Space)
잠재 공간(Latent Space)이란?
잠재 공간은 AI의 내부적인 모든 시각 개념 지도입니다. '개', '석양', '인상주의 그림'이 위치로 표현되는 압축된 수학 공간으로, 모델은 원시 픽셀을 직접 다루는 대신 이 지도를 탐색하여 이미지를 생성합니다.
한눈에 보기
- 다른 이름
- 임베딩 공간잠재 표현특징 공간
- 주요 용도
- 압축을 통한 효율적인 이미지 및 영상 생성개념 블렌딩과 스타일 보간AI 모델이 비슷한 프롬프트에서 다양한 출력을 내는 이유 이해하기
- 주로 쓰이는 도구
- Stable diffusion (latent diffusion model)DALL-eMidjourneyAny diffusion-based generation model
- 관련 용어
- Diffusion modelVAE (variational autoencoder)EmbeddingDenoisingSampling
- How it works in simple terms
- 원시 이미지의 전체 복잡성(수백만 개의 픽셀 값)을 다루는 대신, 모델은 시각 데이터를 훨씬 더 작은 잠재 표현으로 압축합니다. 생성 과정은 이 압축된 공간에서 노이즈 제거를 통해 일어나며, 임의의 시작점을 점진적으로 일관된 표현으로 정제한 다음, 최종 결과를 실제 이미지로 다시 디코딩합니다.
- Where you encounter this
- 잠재 공간은 AI 모델이 개념을 혼합하거나 스타일 사이를 보간할 수 있는 이유를 논할 때, 또는 생성 속도와 품질이 잠재 표현의 차원성과 어떻게 관련되는지를 논할 때 언급됩니다. 또한 latent diffusion, VAE 인코딩 품질, 그리고 일부 모델이 다른 모델보다 더 창의적으로 생성하는 이유 같은 기법을 논할 때 등장합니다.
지금 만들어 볼까요?
장면을 연출하고, 캐릭터를 디자인하고, 한 편의 영화까지 완성하세요
단순하고 투명한 요금제, 속도 제한 없음, 무한한 Canvas로 창의력을 극대화하는 올인원 AI 크리에이티브 플랫폼.
다른 개념과의 비교
Compared with related concepts
개념으로서의 잠재 공간은 많은 모델이 이미지를 잠재 공간으로 인코딩하고 다시 디코딩하는 데 사용하는 특정 VAE(Variational Autoencoder)와 관련이 있지만 구별됩니다. VAE는 픽셀 공간과 잠재 공간 사이를 번역하는 도구이고, 잠재 공간은 그 추상적 수학 공간 자체입니다. 마찬가지로 CLIP 텍스트 인코더는 이미지의 잠재 표현과 비교할 수 있는 텍스트 프롬프트의 잠재 표현을 만들어 텍스트-투-이미지 생성을 가능하게 합니다.
이렇게 생각해 보세요…
잠재 공간은 모든 시각 개념의 상세한 정신적 지도와 같아서, 비슷한 것들이 지도상에서 서로 가까이 있습니다. AI가 이미지를 생성할 때는 본질적으로 이 지도를 탐색해 올바른 위치를 찾은 다음 그 위치가 어떻게 생겼는지를 그립니다. 픽셀 단위로 처음부터 칠하는 것이 아닙니다.
프로 팁
AI 모델이 잠재 공간을 통해 작동한다는 점을 이해하면 길고 과밀한 프롬프트가 때때로 출력 품질을 떨어뜨리는 이유를 설명할 수 있습니다. 모델은 많은 제약을 동시에 만족하는 잠재 공간의 영역으로 탐색해야 하는데, 지나치게 구체적이거나 모순적인 프롬프트는 어떤 일관된 잠재 영역에도 명확하게 매핑되지 않을 수 있습니다. 하나의 일관된 시각 개념을 묘사하는 명확하고 집중된 프롬프트가 더 강한 결과를 만드는 경향이 있습니다.
유형과 변형
- 서로 다른 모델 아키텍처는 서로 다른 유형의 잠재 공간을 사용합니다.
- Stable Diffusion에 사용되는 VAE 압축 잠재 공간은 이미지를 공간적 잠재 그리드로 인코딩합니다.
- CLIP 임베딩 공간은 텍스트와 이미지를 교차 모달 매칭이 가능한 공유 의미 공간으로 인코딩합니다.
- DiT(Diffusion Transformer) 모델은 컨볼루션 기반 이전 모델과 다른 구조적 특성을 가진 잠재 공간에서 작동할 수 있습니다.
- 잠재 공간의 차원성과 구성은 모델이 무엇을 생성할 수 있고 어떻게 개념을 혼합하는지를 직접 형성합니다.
Morphic에서 첫 장면을 만들어 볼까요?
Morphic 체험하기주요 활용 사례
- 잠재 공간은 사용자가 직접 상호작용하지 않더라도 모든 AI 생성 작업에 관여합니다.
- 모델 품질을 논할 때 가장 직접적으로 관련이 있으며(잘 구조화된 잠재 공간은 더 일관된 개념 블렌딩을 만들어 냅니다), 특정 프롬프트가 예상치 못한 결과를 내는 이유를 이해할 때, 모델 아키텍처를 비교할 때, 그리고 모델의 잠재 표현에 추가하거나 조정하여 작동하는 textual inversion이나 LoRA 같은 기법으로 작업할 때 관련됩니다.
지금 만들어 볼까요?
장면을 연출하고, 캐릭터를 디자인하고, 한 편의 영화까지 완성하세요
단순하고 투명한 요금제, 속도 제한 없음, 무한한 Canvas로 창의력을 극대화하는 올인원 AI 크리에이티브 플랫폼.
FAQ
잠재 공간은 AI 모델이 시각 콘텐츠를 처리하고 생성하는 데 사용하는 압축된 내부 수학적 표현입니다. 모델은 원시 픽셀을 직접 다루는 대신 시각 정보를 관련 개념이 인접한 위치를 차지하는 훨씬 더 작은 잠재 표현으로 인코딩한 다음, 최종 결과를 다시 픽셀로 디코딩합니다. 생성은 이 잠재 공간 내에서 탐색하고 노이즈를 제거함으로써 일어납니다.
원시 픽셀을 직접 다루는 것은 현대 AI 생성의 규모에서 계산적으로 감당하기 어렵습니다. 전체 해상도 이미지는 수백만 개의 픽셀 값을 담고 있습니다. 이를 백 배 이상 더 작은 잠재 표현으로 압축하면, 고품질 출력을 재구성하는 데 필요한 본질적인 시각 및 의미 정보를 보존하면서도 생성 과정을 실현 가능하게 만듭니다.
잘 학습된 잠재 공간에서는 관련 개념이 인접한 영역을 차지하고 모델이 그 사이의 위치로 탐색할 수 있기 때문에, 개념 블렌딩은 두 개념을 동시에 표현하는 잠재 위치를 찾는 방식으로 작동합니다. '여우처럼 생긴 개'가 작동하는 이유는 개와 여우가 잠재 공간에서 가까이 있고, 모델이 둘의 특성을 모두 포착하는 그 사이 영역으로 탐색할 수 있기 때문입니다.
Latent diffusion은 디퓨전 노이즈 제거 과정이 픽셀 공간이 아닌 잠재 공간 내에서 작동하는 생성 접근 방식입니다. 모델은 노이즈가 있는 잠재 표현에서 시작해 이를 점진적으로 일관된 잠재 상태로 노이즈를 제거한 다음, VAE 디코더를 사용해 그 최종 잠재 상태를 픽셀 이미지로 디코딩합니다. Stable Diffusion이 이 접근 방식의 가장 널리 알려진 구현입니다.
각 생성은 잠재 공간의 임의의 노이즈 지점에서 시작해 프롬프트와 일치하는 상태를 향해 노이즈를 제거합니다. 서로 다른 임의의 시작점은 약간씩 다른 경로를 거쳐 잠재 공간의 약간씩 다른 최종 위치로 이어집니다. 모두 프롬프트의 안내와 일치하지만 동일하지는 않습니다. 이 확률적 특성 때문에 같은 프롬프트가 항상 같은 이미지를 내는 것이 아니라 다양한 출력을 생성합니다.
풍부한 잠재 공간은 모델이 많은 개념에 대해 상세하고 잘 구성된 표현을 학습했으며, 관련 개념 사이에 명확한 구조를 갖고 이를 일관되게 결합할 수 있음을 의미합니다. 풍부한 잠재 공간을 가진 모델은 더 창의적이고 섬세하며 놀라운 개념 조합을 만들어 냅니다. 잠재 공간이 잘 구조화되지 않은 모델은 더 일반적이고 혼란스럽거나 진부한 출력을 만들어 냅니다.
textual inversion 같은 기법은 모델의 원래 어휘에 없는 특정 시각 개념에 해당하는 텍스트 임베딩 공간(잠재 표현의 한 구성 요소)의 새 위치를 찾는 방식으로 작동합니다. LoRA는 특정 유형의 콘텐츠에 대해 모델이 잠재 공간을 탐색하는 방식을 조정하는 가중치에 작은 수정을 추가하는 방식으로 작동하여, 전체를 다시 구축하지 않고도 잠재 표현의 일부를 효과적으로 확장하거나 재조정합니다.
네, 여러 방식으로 가능합니다. 시드 제어는 생성을 위한 잠재 공간의 시작점을 결정합니다. CFG 스케일은 프롬프트가 잠재 공간 탐색을 얼마나 강하게 안내할지 대 자유로운 탐색의 정도를 제어합니다. 일부 이미지 편집 워크플로에 사용되는 잠재 블렌딩 같은 기법은 두 잠재 표현 사이를 직접 보간하여 시각 상태 간의 부드러운 전환을 만듭니다. 일부 모델의 스타일 혼합 기능은 여러 이미지의 잠재 표현을 결합하는 방식으로 작동합니다.
