転移学習
転移学習とは？
転移学習は、ある問題を解決して学んだことを、異なるが関連する問題の解決に適用することをAIモデルに可能にします。ある言語を学ぶことが似た言語をより速く学ぶのに役立つように、知識の多くが横断的に転移するのです。
ひと目で分かる
- 別名
- Domain adaptationKnowledge transferPre-training and fine-tuning
- 用途
- 大規模な事前訓練済みAIモデルを完全な再訓練なしに特定タスクに適応させる画像生成モデルを特定のスタイル、被写体、視覚ドメイン向けにファインチューニングする限られたタスク固有データで有能なAIシステムを構築するLoRA、DreamBooth、その他の適応技法の基盤となる
- 主なツール
- Hugging face (pre-trained model library and fine-tuning tools)PyTorch and TensorFlow (fine-tuning frameworks)Stable diffusion ecosystem (LoRA and fine-tuning workflows)Morphic (fine-tuned character and style models)
- 関連用語
- Fine-tuningLoRAFoundation modelTraining dataDiffusion modelDreamBooth
- How it works in simple terms
- 大規模なAIモデルが、広い能力を発展させるまで膨大な一般データセットで訓練されます。この事前訓練済みモデルは、その後はるかに小さなターゲットを絞ったデータセットを使って特定タスク向けに適応され、元の訓練からの知識のほとんどを保持しながら、新しいアプリケーションのために望ましい出力を生み出すようモデルの重みを調整します。
- Where you encounter this
- 転移学習は、一般的なAIモデルが特定の目的のために適応されるときにいつでも遭遇します。一般言語モデルの上に構築された執筆アシスタント、特定の芸術スタイルでファインチューニングされた画像生成モデル、特定の人物の外見で訓練されたキャラクター一貫性モデル、または一般的な視覚モデルから適応された物体認識システムです。事実上すべての実用的なAI展開の基盤となります。
創ってみませんか？
シーンを演出し、キャラクターをデザインし、長編映像まで仕上げる
シンプルで透明性の高い料金体系、速度制限なし、無限のCanvasで創造性を最大化する、オールインワンのAIクリエイティブプラットフォーム。
他の概念との比較
Compared with related concepts
転移学習とファインチューニングは関連していますが別個の概念です。転移学習は、あるタスクからの知識を別のタスクに対処するために再利用する広いアプローチです。ファインチューニングは、事前訓練済みモデルの重みが新しいタスク固有のデータでの継続訓練を通じて更新される特定の転移学習技法です。すべてのファインチューニングは転移学習の応用ですが、転移学習はファインチューニングなしでも適用できます。例えば、凍結された事前訓練済みモデルを使った特徴抽出を通じてです。ファインチューニングは、AI生成モデルの適応にとって最も一般的な転移学習技法です。
たとえば…
転移学習は、クラシックの訓練を受けた音楽家をジャズアンサンブルに迎えるようなものです。彼らはすでにハーモニー、リズム、理論、楽器のテクニックを高いレベルで理解しています。直接転移する知識です。音楽をまったく演奏したことのない人を教えるのと比べて、それらの基礎をジャズのイディオムに適用するのに必要な追加訓練は比較的少なくて済みます。事前訓練が音楽院の教育で、ファインチューニングがジャズの徒弟修業です。
プロのヒント
製品用にファインチューニングされたモデルを発注または評価するとき（キャラクター一貫性、芸術スタイル、製品の視覚的アイデンティティのいずれであっても）、ファインチューニングされたモデル自体だけでなく、ファインチューニングが実行された元のベースモデルの品質を常に評価してください。高品質なベースモデルからファインチューニングされたLoRAは、同一の訓練データと技法でも、一般により低品質なベースからのLoRAを上回ります。ファインチューニング品質の上限は、それが構築される事前訓練済みモデルの能力によって大きく決定されます。
種類とバリエーション
特徴抽出は、事前訓練済みモデルを固定された特徴抽出器として使い、事前訓練済みの重みを凍結したまま、新しいタスクで訓練される小さなタスク固有の出力層だけを追加します。ファインチューニングは、事前訓練済みモデルの重みの一部またはすべてを解凍し、新しいタスクで更新することで、より多くの計算とより大きなデータセットを犠牲にしてより深い適応を可能にします。ドメイン適応は、ソースとターゲットのデータセットが分布で大きく異なるシナリオに転移学習を適用し、ドメインのギャップを埋める技法を使います。少数ショット転移は、ほんの一握りの例だけが与えられた新しいタスクを実行するためにモデルの事前訓練済み能力を活用します。LoRAやその他のパラメータ効率的なファインチューニング手法は、モデルの重みの特定のサブセットを効率的に適応させ、高速でリソース効率的な転移を可能にします。
Morphicで最初のシーンを作ってみませんか？
Morphicを試す主な活用シーン
転移学習は、新しいモデルをゼロから訓練することなく、AI能力を特定のドメインやアプリケーションに適応させる必要があるときにいつでも使われます。画像生成では、芸術スタイルのためのLoRAファインチューニング、特定の被写体のためのDreamBooth訓練、キャラクター一貫性モデル訓練の基盤となります。自然言語処理では、コーディング支援、カスタマーサービス、ドメイン固有のQ&Aのような特定タスクのための大規模言語モデルのファインチューニングの基盤となります。コンピュータビジョンでは、一般的な画像モデルの基盤を使って特定ドメインで訓練された物体検出・分類システムを可能にします。
創ってみませんか？
シーンを演出し、キャラクターをデザインし、長編映像まで仕上げる
シンプルで透明性の高い料金体系、速度制限なし、無限のCanvasで創造性を最大化する、オールインワンのAIクリエイティブプラットフォーム。
FAQ
転移学習とは、あるタスクまたはデータセットで訓練されたモデルを、ゼロから訓練するのではなく、異なるが関連するタスクを実行するために適応させる機械学習アプローチです。事前訓練済みモデルの学習された表現（データ内のパターン、構造、関係についての理解）が新しいアプリケーションのために再利用され、強いパフォーマンスを達成するために必要なデータ、時間、計算リソースを劇的に削減します。
転移学習が広く使われるのは、大規模なAIモデルをゼロから訓練するには、ほとんどの実務家や組織がアクセスできない膨大な量のデータ、計算リソース、時間が必要だからです。転移学習は、実務家が強い事前訓練済みの基盤から始めてはるかに少ないリソースで特定のニーズに適応させることを可能にし、強力なAI能力へのアクセスを民主化します。このアプローチはまた、限られたタスク固有データでゼロから訓練するよりも典型的に良い結果を生み出します。
ファインチューニングは、実践で転移学習を適用する最も一般的な技法です。それは、事前訓練済みモデルを取り、新しいタスク固有のデータセットでその訓練を継続し、元の訓練中にエンコードされた知識のほとんどを保持しながら、新しいアプリケーションのために出力を適応させるようモデルの重みを更新することを伴います。すべてのファインチューニングは転移学習の応用です。転移学習は、特徴抽出のような他の方法を通じても適用できます。
画像生成では、転移学習が生成モデルを特定の出力向けにカスタマイズするために使われる適応技法の基盤となります。LoRAファインチューニングは、一般的な生成モデルを特定の芸術スタイル、視覚ドメイン、または被写体に適応させます。DreamBooth訓練は、特定の被写体（人物、製品、場所）の外見をモデルにエンコードします。これらの技法はすべて転移学習の原則を適用し、強力な事前訓練済みの生成基盤から始めて、その能力を特定のクリエイティブなターゲットに向けます。
基盤モデルとは、転移学習を通じて多くの特定タスクへの適応の出発点として機能することを意図して、広い一般データセットで大規模に訓練された大規模AIモデルです。基盤モデル（GPTやClaudeのような大規模言語モデル、Stable DiffusionやFluxのような画像生成モデル）は、まさに特定のアプリケーションが個別の完全な訓練ではなく転移学習を通じて効率的にそれらから構築できるように、広い一般訓練に膨大なリソースを投資します。
転移学習を使ったファインチューニングに必要なデータの量は、ゼロから訓練するよりも劇的に少なく、ソースとターゲットのタスク間の類似性に応じて変わります。特定の芸術スタイルのためのLoRAファインチューニングは、わずか20から50の高品質なリファレンス画像で効果的になり得ます。DreamBoothの被写体訓練は、特定の被写体の20枚未満の画像で効果的になり得ます。ターゲットタスクが元の事前訓練分布に似ているほど、強い適応を達成するために典型的に必要なデータは少なくなります。
ドメイン適応は、ターゲットタスクのデータの分布がソース訓練データの分布と大きく異なるときに生じる転移学習の課題です。例えば、スタジオのポートレート写真で訓練されたモデルは、屋外の環境ポートレートに完璧には転移しないかもしれません。2つのドメインの視覚的分布が異なるからです。ライティング、色、被写界深度、構図の慣習においてです。ドメイン適応技法は、このギャップを埋めようとし、分布の違いにもかかわらずターゲットドメインでうまくパフォーマンスを発揮するようモデルの学習された表現を調整します。
LoRA（Low-Rank Adaptation）は、元のモデルの重みを凍結したまま、小さな追加の重み行列のセットを訓練することで事前訓練済みモデルを適応させるパラメータ効率的なファインチューニング技法です。LoRAの重みは完全なモデルよりもはるかに小さく、訓練が速く、共有や組み合わせが簡単です。画像生成では、LoRAは転移学習を適用して、完全なベースモデルを変更または再訓練することなく、一般的な生成モデルを特定のスタイル、被写体、視覚ドメインに向けます。
