전이 학습(Transfer Learning)
전이 학습(Transfer Learning)이란?
전이 학습은 AI 모델이 한 문제를 풀며 배운 것을, 다르지만 관련된 문제를 푸는 데 적용하게 해 줍니다. 한 언어를 공부하면 비슷한 언어를 더 빨리 배우게 되는 것처럼, 많은 지식이 과제를 넘어 전이되기 때문입니다.
한눈에 보기
- 다른 이름
- Domain adaptationKnowledge transferPre-training and fine-tuning
- 주요 용도
- 대규모 사전 학습 AI 모델을 전체 재학습 없이 특정 과제에 적응시키기이미지 생성 모델을 특정 스타일, 피사체, 또는 시각 도메인에 맞게 파인 튜닝하기제한된 과제별 데이터로 역량 있는 AI 시스템 구축하기LoRA, DreamBooth, 그 밖의 적응 기법의 기저가 되는 토대
- 주로 쓰이는 도구
- Hugging face (pre-trained model library and fine-tuning tools)PyTorch and TensorFlow (fine-tuning frameworks)Stable diffusion ecosystem (LoRA and fine-tuning workflows)Morphic (fine-tuned character and style models)
- 관련 용어
- Fine-tuningLoRAFoundation modelTraining dataDiffusion modelDreamBooth
- How it works in simple terms
- 대규모 AI 모델은 폭넓은 능력을 갖출 때까지 방대한 일반 데이터셋으로 학습됩니다. 그런 다음 이 사전 학습된 모델은 훨씬 더 작은 표적화된 데이터셋을 사용해 특정 과제에 맞게 적응되며, 원래 학습에서 얻은 지식 대부분을 유지하면서 새 응용에 맞는 출력을 내도록 모델의 가중치를 조정합니다.
- Where you encounter this
- 전이 학습은 일반 AI 모델이 특정 목적에 맞게 적응될 때마다 마주치게 됩니다. 일반 언어 모델 위에 구축된 글쓰기 보조 도구, 특정 예술 스타일로 파인 튜닝된 이미지 생성 모델, 특정 인물의 외모로 학습된 캐릭터 일관성 모델, 또는 일반 비전 모델에서 적응된 객체 인식 시스템 등입니다. 사실상 모든 실제 AI 배포의 기저에 있습니다.
지금 만들어 볼까요?
장면을 연출하고, 캐릭터를 디자인하고, 한 편의 영화까지 완성하세요
단순하고 투명한 요금제, 속도 제한 없음, 무한한 Canvas로 창의력을 극대화하는 올인원 AI 크리에이티브 플랫폼.
다른 개념과의 비교
Compared with related concepts
전이 학습과 파인 튜닝은 관련되어 있지만 구별되는 개념입니다. 전이 학습은 한 과제의 지식을 재사용해 다른 과제를 다루는 폭넓은 접근법입니다. 파인 튜닝은 사전 학습된 모델의 가중치를 새로운 과제별 데이터로 계속 학습시켜 갱신하는 구체적인 전이 학습 기법입니다. 모든 파인 튜닝은 전이 학습의 응용이지만, 전이 학습은 파인 튜닝 없이도 적용될 수 있습니다. 예를 들어 동결된 사전 학습 모델을 이용한 특징 추출을 통해서 말입니다. 파인 튜닝은 AI 생성 모델 적응에서 가장 흔한 전이 학습 기법입니다.
이렇게 생각해 보세요…
전이 학습은 정통 클래식 교육을 받은 음악가를 재즈 앙상블에 영입하는 것과 같습니다. 그들은 이미 화성, 리듬, 이론, 악기 연주 기법을 높은 수준에서 이해하고 있으며, 이 지식은 직접 전이됩니다. 음악을 전혀 연주해 본 적 없는 사람을 가르치는 것에 비해, 그 토대를 재즈 어법에 적용하는 데는 비교적 적은 추가 훈련만 필요합니다. 사전 학습은 음악원 교육이고, 파인 튜닝은 재즈 견습입니다.
프로 팁
캐릭터 일관성, 예술적 스타일, 또는 제품 시각 정체성을 위해 프로덕션용 파인 튜닝 모델을 의뢰하거나 평가할 때는, 파인 튜닝된 모델 자체뿐 아니라 파인 튜닝이 수행된 베이스 모델의 품질도 항상 평가하세요. 고품질 베이스 모델에서 파인 튜닝된 LoRA는, 동일한 학습 데이터와 기법을 쓰더라도 일반적으로 더 낮은 품질의 베이스에서 나온 LoRA보다 더 나은 성능을 냅니다. 파인 튜닝 품질의 한계는 그것이 위에 쌓아 올리는 사전 학습 모델의 역량에 의해 크게 좌우됩니다.
유형과 변형
- 특징 추출은 사전 학습된 모델을 고정된 특징 추출기로 사용하며, 사전 학습된 가중치는 동결한 채 새 과제에 맞게 학습되는 작은 과제별 출력 레이어만 추가합니다.
- 파인 튜닝은 사전 학습된 모델의 가중치 일부 또는 전부를 동결 해제하고 새 과제에 맞게 갱신하여, 더 많은 컴퓨팅과 더 큰 데이터셋을 대가로 더 깊은 적응을 가능하게 합니다.
- 도메인 적응은 소스와 타깃 데이터셋의 분포가 크게 다른 시나리오에 전이 학습을 적용하며, 도메인 격차를 메우는 기법을 사용합니다.
- 퓨샷 전이는 단 몇 개의 예시만으로 새 과제를 수행하기 위해 모델의 사전 학습된 능력을 활용합니다.
- LoRA를 비롯한 파라미터 효율적 파인 튜닝 방법은 모델 가중치의 특정 부분 집합을 효율적으로 적응시켜, 빠르고 자원 효율적인 전이를 가능하게 합니다.
Morphic에서 첫 장면을 만들어 볼까요?
Morphic 체험하기주요 활용 사례
- 전이 학습은 새 모델을 처음부터 학습시키지 않고 특정 도메인이나 응용에 맞게 AI 능력을 적응시켜야 할 때마다 사용됩니다.
- 이미지 생성에서는 예술적 스타일을 위한 LoRA 파인 튜닝, 특정 피사체를 위한 DreamBooth 학습, 캐릭터 일관성 모델 학습의 기반이 됩니다.
- 자연어 처리에서는 코딩 지원, 고객 서비스, 또는 도메인 특화 Q&A 같은 특정 과제를 위한 대규모 언어 모델의 파인 튜닝 기반이 됩니다.
- 컴퓨터 비전에서는 일반 이미지 모델 토대를 사용해 특정 도메인에 맞게 학습된 객체 탐지 및 분류 시스템을 가능하게 합니다.
지금 만들어 볼까요?
장면을 연출하고, 캐릭터를 디자인하고, 한 편의 영화까지 완성하세요
단순하고 투명한 요금제, 속도 제한 없음, 무한한 Canvas로 창의력을 극대화하는 올인원 AI 크리에이티브 플랫폼.
FAQ
전이 학습은 한 과제 또는 데이터셋에서 학습된 모델을 처음부터 학습시키는 대신 다르지만 관련된 과제를 수행하도록 적응시키는 머신러닝 접근법입니다. 사전 학습된 모델의 학습된 표현, 즉 데이터의 패턴, 구조, 관계에 대한 이해는 새로운 응용에 맞게 용도 변경되어, 강한 성능을 달성하는 데 필요한 데이터, 시간, 컴퓨팅 자원을 극적으로 줄여 줍니다.
전이 학습이 널리 사용되는 이유는, 대규모 AI 모델을 처음부터 학습시키는 데 대부분의 실무자와 조직이 접근할 수 없는 막대한 양의 데이터, 컴퓨팅 자원, 시간이 필요하기 때문입니다. 전이 학습은 실무자가 강력한 사전 학습 토대에서 출발해 훨씬 적은 자원으로 특정 요구에 맞게 적응시킬 수 있게 함으로써, 강력한 AI 능력에 대한 접근을 대중화합니다. 이 접근법은 또한 제한된 과제별 데이터로 처음부터 학습시키는 것보다 일반적으로 더 나은 결과를 만들어 냅니다.
파인 튜닝은 실제로 전이 학습을 적용하는 가장 흔한 기법입니다. 사전 학습된 모델을 가져와 새로운 과제별 데이터셋으로 학습을 이어 가며, 원래 학습 과정에서 부호화된 지식 대부분을 유지하면서 새 응용에 맞게 출력을 적응시키도록 모델의 가중치를 갱신하는 것을 포함합니다. 모든 파인 튜닝은 전이 학습의 응용입니다. 전이 학습은 특징 추출 같은 다른 방법을 통해서도 적용될 수 있습니다.
이미지 생성에서 전이 학습은 생성 모델을 특정 출력에 맞게 커스터마이즈하는 데 사용되는 적응 기법의 기저가 됩니다. LoRA 파인 튜닝은 일반 생성 모델을 특정 예술적 스타일, 시각 도메인, 또는 피사체에 맞게 적응시킵니다. DreamBooth 학습은 특정 피사체(인물, 제품, 장소)의 외모를 모델에 부호화합니다. 이러한 기법은 모두 전이 학습 원리를 적용하여, 강력한 사전 학습 생성 토대에서 출발해 그 능력을 특정한 창작 표적으로 향하게 합니다.
파운데이션 모델은 폭넓은 일반 데이터셋으로 대규모로 학습된 대형 AI 모델로, 전이 학습을 통해 많은 특정 과제에 적응되기 위한 출발점 역할을 하도록 의도되었습니다. GPT와 Claude 같은 대규모 언어 모델, Stable Diffusion과 Flux 같은 이미지 생성 모델 등의 파운데이션 모델은, 특정 응용이 개별적인 전면 학습이 아니라 전이 학습을 통해 효율적으로 구축될 수 있도록 폭넓은 일반 학습에 막대한 자원을 투자합니다.
전이 학습을 이용한 파인 튜닝에 필요한 데이터 양은 처음부터 학습시키는 것보다 극적으로 적으며, 소스와 타깃 과제의 유사성에 따라 달라집니다. 특정 예술적 스타일을 위한 LoRA 파인 튜닝은 고품질 레퍼런스 이미지가 스무 장에서 쉰 장 정도만 있어도 효과적일 수 있습니다. DreamBooth 피사체 학습은 특정 피사체의 이미지가 스무 장 미만이어도 효과적일 수 있습니다. 타깃 과제가 원래 사전 학습 분포와 비슷할수록, 강한 적응을 달성하는 데 일반적으로 더 적은 데이터가 필요합니다.
도메인 적응은 타깃 과제의 데이터 분포가 소스 학습 데이터의 분포와 크게 다를 때 발생하는 전이 학습 과제입니다. 예를 들어 스튜디오 인물 사진으로 학습된 모델은, 두 도메인의 시각적 분포가 조명, 색상, 피사계 심도, 구성적 관습에서 다르기 때문에 야외 환경 인물 사진으로 완벽하게 전이되지 않을 수 있습니다. 도메인 적응 기법은 이 격차를 메우려 시도하며, 분포 차이에도 불구하고 모델이 타깃 도메인에서 잘 작동하도록 학습된 표현을 조정합니다.
LoRA(Low-Rank Adaptation)는 원래 모델 가중치는 동결한 채 추가적인 작은 가중치 행렬 집합을 학습시켜 사전 학습된 모델을 적응시키는 파라미터 효율적 파인 튜닝 기법입니다. LoRA 가중치는 전체 모델보다 훨씬 작아 빠르게 학습되고 공유·결합하기 쉽습니다. 이미지 생성에서 LoRA는 전이 학습을 적용하여, 전체 베이스 모델을 수정하거나 재학습하지 않고도 일반 생성 모델을 특정 스타일, 피사체, 또는 시각 도메인으로 향하게 합니다.
