パラメータ（AI）

パラメータとは、学習済みAIモデルの挙動を定義する内部の数値（主に重みとバイアス）である。モデルが学習データから習得したすべてを符号化し、与えられた入力をどのように出力へと変換するかを決定する。学習後、パラメータは固定され、保存されたモデルを構成する。現代の大規模モデルは数十億のパラメータを含む。

パラメータは学習中に習得される値であり、誤差を最小化するために学習プロセスを通じて調整されるネットワーク内部の重みとバイアスである。ハイパーパラメータは、学習プロセス自体を定義する設定（学習率、バッチサイズ、学習ステップ数）であり、データから学習されるのではなく学習開始前に設定される。パラメータは学習の成果であり、ハイパーパラメータは学習の進め方を形作る。

必ずしもそうではない。パラメータが多いほど表現容量は大きくなり、より複雑で繊細なパターンを学習できる可能性があるが、品質は学習データの品質、アーキテクチャ設計、学習方法論にも大きく左右される。優れた厳選されたドメイン特化データで学習された小規模なモデルは、その領域内の特定タスクで、はるかに大きな汎用モデルを上回ることがある。パラメータ数は規模の指標であって、品質や特定の用途への適合性を保証するものではない。

重みとは、ニューラルネットワークにおけるニューロン間の接続の強さを定義する特定の種類のパラメータであり、最も数が多く重要なパラメータである。一般的な用法では、「モデル重み」と「モデルパラメータ」は、学習済みモデルを定義する学習済み値の集合全体を指す言葉として、しばしば互換的に使われる。モデルがダウンロードまたは共有される際、転送されるファイルにはこれらの重みが含まれる。

生成パラメータ（推論パラメータやサンプリングパラメータとも呼ばれる）は、生成インターフェース上のユーザー調整可能な設定（CFGスケール、ステップ数、シード、ノイズレベル、サンプラー）であり、学習済みモデルを特定の生成タスクにどう適用するかを制御する。モデルパラメータは、モデルが何をできるかを定義する固定された学習済みの内部値である。生成パラメータはモデルの能力の表れ方を形作り、モデルパラメータはその能力が何であるかを定義する。

ファインチューニングは、事前学習済みモデルの既存パラメータを起点とし、より小規模で専門化されたデータセットで学習プロセスを続け、その特定の領域やタスクでの性能を高めるためにパラメータをさらに調整する。その結果得られるファインチューニング済みモデルのパラメータは、事前学習で習得した広範な能力と、ファインチューニングで培われた専門知識の両方を符号化する。ファインチューニングは、事前学習済みパラメータが強力な出発点を提供するため、ゼロから学習するよりも計算コストが大幅に低い。

各パラメータは保存のためのメモリと、推論時に適用するための計算を必要とする。700億パラメータのモデルは、16ビット精度で保存するのに約140GBのメモリを必要とする（各パラメータは2バイトの値として保存される）。70Bモデルで入力を処理するには数十億の数学的演算が必要となり、強力なハードウェアが求められる。これが、非常に大規模なモデルが通常、コンシューマー機器ではなく専用ハードウェアを備えたクラウドインフラ上で動作する理由である。

標準的なコンシューマー向けインターフェースではできない。通常の利用では、モデルパラメータは固定されアクセスできず、ユーザーは基盤となる重みに直接触れることなく、プロンプトと生成パラメータを通じてモデルと対話する。モデルファイルと適切なハードウェアにアクセスできる上級ユーザーは、追加学習によってパラメータを調整するファインチューニングを実行できる。LoRAのような一部のプラットフォームや手法は、パラメータの小さな部分集合を効率的に変更する、よりアクセスしやすいパラメータ調整方法を提供する。