ハイパーネットワーク

ハイパーネットワークは、ベースモデルの重みを直接変更することなく、推論時により大きなAI画像生成モデルの挙動を修正する小さな補助ニューラルネットワークです。ベースモデルの内部処理に学習した調整を適用するように訓練され、フルモデルを再訓練するコストなしに、出力を望ましいスタイル、被写体、美学へと誘導します。

標準的なファインチューニングでは、新しい情報を取り込むためにベースモデル自体の重みが更新されます。ハイパーネットワークのアプローチでは、ベースモデルの重みは変更されないままで、代わりに別個の小さなネットワークが、生成中に動的に適用される調整を生成することを学習します。これにより、ベースモデルを元のまま保ちつつ、複数の異なるハイパーネットワークを必要に応じて読み込んで差し替えられます。

どちらもベースモデルを特化させるパラメーター効率の良いファインチューニング手法ですが、仕組みが異なります。LoRAは低ランクの重みの更新をモデルの層に直接適用し、ハイパーネットワークはベースモデルの活性化を実行時に修正する別個のネットワークを訓練します。LoRAは、通常より優れた品質とより一貫した訓練結果を達成するため、実際にはハイパーネットワークにほぼ取って代わっています。

Stable Diffusionベースのモデル向けのハイパーネットワークは、Civitaiのようなコミュニティリポジトリで入手できます。ハイパーネットワークのファイルを指定のフォルダに置き、生成設定内で選択することで、AUTOMATIC1111 WebUIや互換インターフェース内で使えます。この技法は、より古いStable Diffusion 1.5のワークフローで最も一般的に見られます。

ハイパーネットワークの訓練は、AUTOMATIC1111 WebUIやさまざまなオープンソースの訓練スクリプトでサポートされています。このプロセスには、学習するスタイルや被写体を表す画像のデータセットと、適切な訓練設定が必要です。ハイパーネットワークの訓練は、一般的にフルモデルの訓練より少ない計算リソースで済みますが、一部の他のファインチューニングアプローチよりは多く必要とします。

ハイパーネットワークは、それをサポートするStable Diffusion環境では依然として機能し、利用のピーク期に訓練されたハイパーネットワークは今も入手・使用できます。しかし、LoRAがほとんどの実用目的で主要なファインチューニング技法になっており、同程度以下の計算コストで一般的により優れた結果を提供します。ハイパーネットワークは主に、レガシーなワークフローや、特定の事前訓練済みハイパーネットワークが必要なケースで関心を持たれます。

エンベディング(テキスチュアルインバージョンとも呼ばれる)は、特定のコンセプトを表す小さなトークンベクトルのセットを訓練することでテキストエンコーダーに新しい語彙を追加し、モデルが新しいトリガーワードを学習した視覚的コンセプトに関連づけられるようにします。ハイパーネットワークは、テキスト処理ではなくモデルの画像生成層を修正するため、テキスト記述だけではあまりうまく表現されない視覚的スタイルの特性を捉えるのに適しています。

AUTOMATIC1111や同様のインターフェースでは、通常、生成ごとに一つのハイパーネットワークが適用されます。個別の強度コントロールで複数の適応を同時にスタックできるLoRAとは異なり、ほとんどのツールでのハイパーネットワークの実装は一度に一つを適用します。これは、一つの生成で複数の適応を組み合わせる必要があるクリエイターにとって、LoRAがより大きなワークフローの柔軟性を提供するもう一つの領域です。