Hypernetwork(하이퍼네트워크)는 더 큰 베이스 모델의 가중치를 직접 바꾸지 않고 그 동작을 수정하는 소형 추가 신경망을 학습시켜 AI 이미지 생성 모델을 파인튜닝하는 기법입니다. 전체 모델 파인튜닝보다 더 적은 연산 비용과 저장 오버헤드로 모델에 새 스타일, 피사체, 미학적 특성을 가르칠 수 있게 합니다.

하이퍼네트워크는 생성 시 베이스 모델의 중간 활성화에 적용되는 변환을 학습해, 베이스 모델 자체의 수백만 파라미터를 수정하지 않고도 출력을 원하는 특성으로 이끕니다. 이 접근으로 서로 다른 스타일·피사체용 하이퍼네트워크를 여러 개 만들고 필요에 따라 바꿔 쓸 수 있어, 사용자가 단일 베이스 모델에 적용할 수 있는 수정 라이브러리를 갖게 됩니다. 이 기법은 스타일 적응과 아티스트별 수정을 만드는 데 Stable Diffusion 커뮤니티에서 인기가 있었습니다.

LoRA 같은 신기법이 효율과 효과로 더 널리 채택되었지만, 하이퍼네트워크는 특정 유형의 모델 맞춤화에 여전히 쓸 수 있는 접근입니다. 사용 가능한 다양한 파인튜닝 기법을 이해하면 제작자가 필요한 적응 유형과 가용 자원에 따라 특정 요구에 맞는 접근을 선택하는 데 도움이 됩니다.