DreamBooth
DreamBooth이란?
DreamBooth는 특정 피사체의 소수 사진 세트로 AI 이미지 모델을 학습시켜, 새로운 상황, 스타일, 맥락에서 그 피사체를 생성할 수 있게 하는 기법입니다.
한눈에 보기
- Type of model
- 기존 텍스트-투-이미지 디퓨전 모델을 개인화하는 파인튜닝 기법
- Developed by
- Google Research
- Key capability
- 특정 피사체의 이미지 3~30장으로 AI 이미지 생성 모델을 학습시켜 새로운 맥락, 자세, 스타일에서 그 피사체를 생성할 수 있게 함
- How it fits in AI workflow
- AI 프로덕션 파이프라인 안에서 맞춤 캐릭터 모델, 브랜드 일관 시각 도구, 개인화된 생성기를 만드는 데에 사용되며, 일반적으로 Stable Diffusion 기반 모델과 워크플로에 적용됩니다
지금 만들어 볼까요?
장면을 연출하고, 캐릭터를 디자인하고, 한 편의 영화까지 완성하세요
단순하고 투명한 요금제, 속도 제한 없음, 무한한 Canvas로 창의력을 극대화하는 올인원 AI 크리에이티브 플랫폼.
다른 개념과의 비교
Compared with related concepts
DreamBooth 대 LoRA: DreamBooth는 전체 파인튜닝된 모델 체크포인트를 만들어 내며 일반적으로 다양한 프롬프트 맥락 전반에 걸쳐 피사체에 대한 강력하고 포괄적인 개인화를 달성합니다. LoRA는 전체 모델이 아니라 소수의 추가 가중치를 학습시키는 더 연산 효율적인 파인튜닝 접근 방식으로, 더 적은 저장 공간과 학습 시간을 요구하면서 강력하지만 때로는 덜 포괄적인 개인화를 달성합니다. 실무에서 LoRA를 사용한 DreamBooth는 두 접근 방식을 결합하여, DreamBooth 학습 방법론을 LoRA 효율성 프레임워크와 함께 사용해 품질과 자원 요구 사항의 균형을 맞춥니다.
프로 팁
DreamBooth 학습을 위한 이미지 선별은 결과물 품질에 비대칭적으로 큰 영향을 미칩니다. 가능한 한 많은 이미지를 수집하기보다, 피사체를 다양한 각도, 다양한 조명 조건, 다양한 배경에서 보여 주는 다채롭고 고품질의 이미지 10~20장에 우선순위를 두십시오. 거의 중복되는 이미지, 매우 유사한 다수의 프레임, 또는 다른 시각적으로 지배적인 요소가 포함된 이미지를 넣으면 모델에 잘못된 패턴을 가르치게 됩니다. 작지만 잘 선별된 세트 안의 다양성은 중복된 이미지의 큰 세트를 꾸준히 능가합니다.
유형과 변형
- 전체 DreamBooth 파인튜닝은 피사체 데이터셋으로 모델 가중치의 전부 또는 대부분을 업데이트하여, 포괄적이고 유연한 개인화를 만들어 내지만 전체 모델 체크포인트가 생성되므로 더 많은 저장 공간을 요구합니다.
- LoRA를 사용한 DreamBooth는 DreamBooth 접근 방식을 LoRA 효율적 파인튜닝 프레임워크와 통합하여, 강력한 개인화 결과를 유지하면서도 저장 공간 요구 사항과 학습 시간을 줄입니다.
- 클래스 특화 DreamBooth 학습은 사전 보존 손실(prior preservation loss)을 사용하여, 모델이 특정 피사체를 학습하는 동안 파인튜닝이 모델의 일반 역량을 저하시키지 않도록 추가적인 일반 클래스 이미지로 학습시킵니다.
Morphic에서 첫 장면을 만들어 볼까요?
Morphic 체험하기주요 활용 사례
- 소수의 참조 이미지 세트로 맞춤 캐릭터 모델을 학습시켜 여러 다양한 프롬프트와 장면에 걸쳐 그 캐릭터를 일관되게 생성합니다.
- 제품 이미지로 학습된 브랜드 특화 생성 모델을 만들어 프롬프트에 묘사된 어떤 맥락에서든 일관된 제품 시각화를 가능하게 합니다.
- 양식적으로 일관된 참조 이미지 세트로 학습시켜 특정 미술 스타일로 이미지 생성 모델을 개인화합니다.
- 사진 세트로부터 반복적으로 등장하는 AI 대변인이나 아바타를 만들어 마케팅, 교육, 커뮤니케이션 콘텐츠 전반에 사용합니다.
- 기본 베이스 모델이 요구되는 특정 피사체나 스타일에서 잘 작동하지 않는 도메인 특화 창작 응용을 위해 모델을 파인튜닝합니다.
지금 만들어 볼까요?
장면을 연출하고, 캐릭터를 디자인하고, 한 편의 영화까지 완성하세요
단순하고 투명한 요금제, 속도 제한 없음, 무한한 Canvas로 창의력을 극대화하는 올인원 AI 크리에이티브 플랫폼.
FAQ
DreamBooth는 특정 피사체를 묘사하는 소수의 이미지, 일반적으로 3~30장으로 기존 AI 이미지 생성 모델을 학습시키는 파인튜닝 기법입니다. 학습된 모델은 그 후 프롬프트에 묘사된 어떤 맥락, 스타일, 자세에서든 그 피사체를 생성할 수 있습니다.
DreamBooth는 기본적인 결과를 위해 3~5장만으로도 작동할 수 있지만, 신중히 선별된 다채로운 이미지 10~30장이 일반적으로 더 유연하고 일관된 결과물을 만들어 냅니다. 이미지의 양보다 품질과 다양성이 더 중요합니다.
DreamBooth는 Google의 연구진이 개발하여 2022년에 발표한 논문에 기술되었습니다. 이후 오픈소스 AI 이미지 생성 커뮤니티에서 널리 채택되고 변형되어 왔습니다.
DreamBooth는 전체 파인튜닝된 모델 체크포인트를 만들어 내며 일반적으로 포괄적인 개인화를 달성합니다. LoRA는 베이스 모델 위에 덧씌워지는 더 작은 추가 가중치 세트를 학습시켜 더 적은 저장 공간과 학습 시간을 요구합니다. LoRA를 사용한 DreamBooth는 품질과 효율성의 균형을 위해 두 접근 방식을 결합합니다.
DreamBooth는 특정 인물, 캐릭터, 제품, 미술 스타일, 반려동물, 객체, 그리고 다양한 생성 맥락 전반에 걸쳐 재현 가능해야 하는 독특한 시각적 특징을 가진 그 밖의 모든 피사체에 대해 모델을 학습시킬 수 있습니다.
DreamBooth는 오픈소스 모델 가중치를 로컬에서 또는 클라우드 학습 서비스를 통해 파인튜닝할 수 있는 Stable Diffusion 기반 모델과 그 변형에 가장 흔히 적용됩니다. 기반 가중치에 접근할 수 없는 독점 폐쇄 모델에는 적용할 수 없습니다.
학습 시간은 하드웨어, 데이터셋 크기, 학습 파라미터에 따라 다르지만, 표준적인 DreamBooth 실행은 컨슈머급 또는 클라우드 GPU 하드웨어에서 일반적으로 15분에서 몇 시간 사이가 걸립니다. LoRA를 사용한 DreamBooth는 일반적으로 전체 가중치 DreamBooth보다 빠르게 학습됩니다.
사전 보존 손실은 DreamBooth 학습 중에 사용되는 기법으로, 파인튜닝이 모델의 일반 피사체 클래스 생성 능력을 저하시키는 것을 방지하기 위해 피사체 이미지와 함께 추가적인 일반 클래스 이미지를 포함시킵니다. 예를 들어 특정 인물로 학습할 때, 모델이 일반적인 인물 사진이 어떤 모습인지 잊지 않도록 일반 인물 사진을 함께 포함시킵니다.
