하이퍼네트워크
하이퍼네트워크이란?
하이퍼네트워크는 더 큰 AI 이미지 모델의 동작 방식을 수정하는 작은 신경망으로, 원본 모델의 가중치를 직접 변경하지 않고 특정 스타일이나 특정 주제로 생성하도록 훈련됩니다.
한눈에 보기
- 다른 이름
- HN (stable diffusion 커뮤니티의 약어)
- 주요 용도
- 특정 스타일이나 주제를 위한 AI 이미지 생성 모델 특수화기본 모델에 작가 스타일 적응 적용모듈형의 교체 가능한 모델 수정 생성
- 주로 쓰이는 도구
- Stable diffusion (AUTOMATIC1111 WebUI, ComfyUI)Various open-source fine-tuning pipelines
- 관련 용어
- LoRAFine-tuningEmbedding / textual inversionStable diffusionModel weights
지금 만들어 볼까요?
장면을 연출하고, 캐릭터를 디자인하고, 한 편의 영화까지 완성하세요
단순하고 투명한 요금제, 속도 제한 없음, 무한한 Canvas로 창의력을 극대화하는 올인원 AI 크리에이티브 플랫폼.
다른 개념과의 비교
둘 다 전체 재훈련 없이 기본 모델을 특수화하는 파라미터 효율적 파인튜닝 방법입니다. LoRA는 가중치 업데이트를 저순위 행렬 쌍으로 분해하여 모델 레이어에 직접 적용하는 방식으로 작동하며, 비슷한 계산 비용으로 하이퍼네트워크보다 일반적으로 더 나은 품질과 더 예측 가능한 훈련 동작을 달성합니다. 그 결과 LoRA는 실제로 지배적인 기법이 되었습니다. 하이퍼네트워크는 비교하면 더 오래되었고 더 제한적이지만, LoRA 지원을 이용할 수 없는 환경에서는 여전히 사용 가능합니다.
프로 팁
AUTOMATIC1111에서 하이퍼네트워크로 작업할 때, 강도 승수, 즉 하이퍼네트워크의 수정이 얼마나 강하게 적용되는지를 조절하는 값이 출력에 상당한 영향을 미칩니다. 전체 강도(1.0)에서는 많은 하이퍼네트워크가 프롬프트를 압도하여, 프롬프트 내용을 희생하면서 하이퍼네트워크 스타일을 반영하는 출력을 만들어냅니다. 승수를 0.5~0.7로 낮추면 하이퍼네트워크의 양식적 영향과 프롬프트에 서술된 내용 사이에 더 나은 혼합이 흔히 만들어집니다.
유형과 변형
- 하이퍼네트워크는 일반적으로 훈련 대상으로 특징지어집니다.
- 스타일 하이퍼네트워크는 특정 시각적 미학이나 작가 스타일의 특성을 학습하고, 주제 하이퍼네트워크는 특정 캐릭터, 객체, 또는 개념의 외관을 학습합니다.
- 이들은 크기(레이어 깊이와 너비로 측정)와 훈련 품질에서 차이가 나며, 더 큰 하이퍼네트워크는 더 많은 뉘앙스를 포착할 수 있지만 더 많은 훈련 데이터와 계산을 필요로 합니다.
- 이 기법은 Stable Diffusion 1.
- 5 및 2022~2023년 기간의 관련 모델과 가장 밀접하게 연관되어 있습니다.
- 더 새로운 모델 아키텍처는 하이퍼네트워크로 적응되는 경우가 덜 흔하며, 이후 모델 세대에서는 LoRA가 지배적인 파인튜닝 접근 방식이 되었습니다.
Morphic에서 첫 장면을 만들어 볼까요?
Morphic 체험하기주요 활용 사례
- Stable Diffusion 커뮤니티 내의 아티스트와 제작자는 하이퍼네트워크를 사용하여 특정 예술 사조, 일러스트레이션 스타일, 또는 개별 작가의 작품의 시각적 특성을 재현하는 스타일 적응을 훈련한 다음, 이 하이퍼네트워크를 다른 이들이 사용할 수 있도록 공유했습니다.
- 캐릭터 디자이너는 매 프롬프트마다 모든 물리적 세부 사항을 서술할 필요 없이 일관된 캐릭터 생성을 만들어내기 위해 원본 캐릭터 디자인으로 하이퍼네트워크를 훈련했습니다.
- 상업 사용자는 브랜드 시각 정체성으로 하이퍼네트워크를 훈련하여 브랜드에 부합하는 미적 출력으로 생성을 유도했습니다.
지금 만들어 볼까요?
장면을 연출하고, 캐릭터를 디자인하고, 한 편의 영화까지 완성하세요
단순하고 투명한 요금제, 속도 제한 없음, 무한한 Canvas로 창의력을 극대화하는 올인원 AI 크리에이티브 플랫폼.
FAQ
하이퍼네트워크는 추론 시점에 더 큰 AI 이미지 생성 모델의 동작을 수정하는 작은 보조 신경망으로, 기본 모델의 가중치를 직접 변경하지 않습니다. 기본 모델의 내부 처리에 학습된 조정을 적용하도록 훈련되어, 전체 모델을 재훈련하는 비용 없이도 출력을 원하는 스타일, 주제, 또는 미학으로 유도합니다.
표준 파인튜닝에서는 새로운 정보를 통합하기 위해 기본 모델 자체의 가중치가 업데이트됩니다. 하이퍼네트워크 방식에서는 기본 모델의 가중치가 변경되지 않고 유지되며, 그 대신 별도의 작은 네트워크가 생성 중 동적으로 적용되는 조정을 생성하도록 학습합니다. 이를 통해 기본 모델은 원래 상태로 유지되면서 여러 다른 하이퍼네트워크를 필요에 따라 로드하고 교체할 수 있습니다.
둘 다 기본 모델을 특수화하는 파라미터 효율적 파인튜닝 방법이지만, 작동 방식이 다릅니다. LoRA는 저순위 가중치 업데이트를 모델 레이어에 직접 적용하는 반면, 하이퍼네트워크는 실행 시점에 기본 모델의 활성값을 수정하는 별도의 네트워크를 훈련합니다. LoRA는 일반적으로 더 나은 품질과 더 일관된 훈련 결과를 달성하기 때문에 실제로 하이퍼네트워크를 대부분 대체했습니다.
Stable Diffusion 기반 모델을 위한 하이퍼네트워크는 Civitai 같은 커뮤니티 저장소에서 이용할 수 있습니다. 하이퍼네트워크 파일을 지정된 폴더에 두고 생성 설정에서 선택하면 AUTOMATIC1111 WebUI 및 호환 인터페이스 내에서 사용할 수 있습니다. 이 기법은 더 오래된 Stable Diffusion 1.5 워크플로에서 가장 흔하게 마주칩니다.
하이퍼네트워크 훈련은 AUTOMATIC1111 WebUI와 다양한 오픈 소스 훈련 스크립트에서 지원됩니다. 이 과정은 학습할 스타일이나 주제를 나타내는 이미지 데이터셋과 적절한 훈련 구성을 필요로 합니다. 하이퍼네트워크 훈련은 일반적으로 전체 모델 훈련보다 적은 계산 자원을 필요로 하지만 일부 다른 파인튜닝 접근 방식보다는 많이 필요합니다.
하이퍼네트워크는 이를 지원하는 Stable Diffusion 환경에서 여전히 작동하며, 사용이 정점에 달했던 시기에 훈련된 하이퍼네트워크는 여전히 이용 가능하고 사용 가능합니다. 그러나 LoRA가 대부분의 실용적 목적에서 지배적인 파인튜닝 기법이 되어, 비슷하거나 더 낮은 계산 비용으로 일반적으로 더 나은 결과를 제공합니다. 하이퍼네트워크는 주로 레거시 워크플로나 특정 사전 훈련된 하이퍼네트워크가 필요한 경우에 관심의 대상입니다.
텍스추얼 인버전이라고도 불리는 임베딩은 특정 개념을 나타내는 작은 토큰 벡터 집합을 훈련하여 텍스트 인코더에 새로운 어휘를 추가함으로써, 모델이 새로운 트리거 단어를 학습된 시각적 개념과 연관시킬 수 있게 합니다. 하이퍼네트워크는 텍스트 처리가 아니라 모델의 이미지 생성 레이어를 수정하므로, 텍스트 서술만으로는 덜 잘 표현되는 시각적 스타일 특성을 포착하는 데 적합합니다.
AUTOMATIC1111 및 유사한 인터페이스에서는 일반적으로 생성당 하나의 하이퍼네트워크가 적용됩니다. 개별 강도 컨트롤로 여러 적응을 동시에 쌓을 수 있는 LoRA와 달리, 대부분의 도구에서 하이퍼네트워크 구현은 한 번에 하나씩 적용합니다. 이는 단일 생성에서 여러 적응을 결합해야 하는 제작자에게 LoRA가 더 큰 워크플로 유연성을 제공하는 또 다른 영역입니다.
