パラメータ(AI)
パラメータ(AI)とは?
パラメータとは、AIモデルの内部にある数十億の数値で、学習中に習得したすべてを符号化したものである。モデルの能力を定義し、学習中にそれらを調整することがモデルの学習そのものとなる。ユーザーが直接変更することはできず、学習後は固定される。
ひと目で分かる
- 別名
- 重み(特に接続の値)モデル重み学習済みパラメータ
- 用途
- モデルが学習データから習得したすべてを符号化するモデルの能力、スタイル、挙動を決定する学習済みAIモデルを定義する基本的な構成要素
- 主なツール
- All AI models and neural networksPyTorch and TensorFlow (training and parameter management)Hugging face model hub (parameter storage and sharing)
- 関連用語
- Neural networkTrainingFine-tuningModelWeightsCFG scaleInference
- How it works in simple terms
- 学習中、モデルのパラメータは誤差を最小化するために何百万回も調整される。学習後は固定される。モデルを使って画像やテキストを生成すると、入力はモデルのアーキテクチャを通過し、各層でこれらの固定されたパラメータ値によって変換され、出力が現れる。
- Where you encounter this
- あらゆるAI生成ツールは、特定のパラメータ数を持つモデルの上に構築されている。モデルの説明には、規模の指標としてパラメータ数(例:「7Bパラメータ」「70Bパラメータ」)が含まれることが多い。生成インターフェースでは、CFGスケールやステップ数といった調整可能な設定が、口語的に「パラメータ」と呼ばれることがある。
創ってみませんか?
シーンを演出し、キャラクターをデザインし、長編映像まで仕上げる
シンプルで透明性の高い料金体系、速度制限なし、無限のCanvasで創造性を最大化する、オールインワンのAIクリエイティブプラットフォーム。
他の概念との比較
Compared with related concepts
モデルパラメータと生成パラメータ(推論パラメータやサンプリングパラメータとも呼ばれる)はしばしば混同されるが、技術的には区別される。モデルパラメータは、モデルが何をできるかを定義する固定された学習済みの内部値であり、モデルそのものであって、ユーザーが変更することはできない。生成パラメータは、モデルの固定された能力を特定の生成リクエストにどう適用するかを制御するユーザー調整可能な設定であり、基盤となるモデルを変えずに出力を形作る。生成パラメータを変えるとモデルの動き方が変わり、モデルパラメータを変える(ファインチューニングや再学習による)とモデルにできることが変わる。
たとえば…
AIモデルのパラメータは、専門家の頭の中に蓄積された知識のようなものである。長年の学習と経験を通じて培われ、その分野について知っているすべてを、明示的には完全に言葉にできない形で符号化している。質問されると、その深く符号化された知識が答えを形作る。質問そのもの(プロンプト)が即時の入力であり、蓄積された知識(パラメータ)が、その入力を意味のある応答へと変換する。
プロのヒント
生成タスクのために異なるモデルを検討する際、パラメータ数は有用な文脈ではあるが、主たる選定基準にすべきではない。十分に学習された7Bパラメータモデルは、特定のタスクで貧弱に学習された70Bモデルを上回ることが多い。生のパラメータ数よりも、対象領域で実際に示された出力、すなわち何を学習し、どんなスタイルと品質レベルを生み出すかをまず重視すべきである。パラメータ数は容量の指標であって、品質の保証ではない。
種類とバリエーション
重みは、ニューロン間の接続の強さを定義するパラメータであり、ほとんどのネットワークで最も数が多い種類のパラメータである。バイアスは各ニューロンに加えられる追加のパラメータで、入力とは独立して活性化関数をシフトさせ、追加の柔軟性をもたらす。ハイパーパラメータは、モデルが学習する値ではなく、学習プロセス自体を定義する設定(学習率、バッチサイズ、学習エポック数)であり、データから学習されるのではなく学習開始前に固定される。生成パラメータ(CFGスケール、ステップ数、シード、サンプラー)は、学習済みモデルを特定の生成タスクにどう適用するかを制御するユーザーがアクセス可能な設定であり、モデル内部の学習済みパラメータとは区別される。
Morphicで最初のシーンを作ってみませんか?
Morphicを試す主な活用シーン
モデルパラメータの理解が重要になるのは、規模でモデルを比較するとき(同一ファミリーの70Bパラメータモデルと7Bモデルの比較)、ファインチューニング済みモデルを評価するとき(事前学習済みモデルのパラメータを起点とし、特定領域向けにさらに調整したもの)、モデルを実行する計算要件を検討するとき(パラメータ数が多いほど多くのメモリと計算が必要)、モデルバージョン間の生成品質の違いを解釈するとき、そしてモデルの学習済みパラメータを特定の出力にどう適用するかを制御するために生成パラメータ(CFGスケール、ステップ数など)を調整するときである。
創ってみませんか?
シーンを演出し、キャラクターをデザインし、長編映像まで仕上げる
シンプルで透明性の高い料金体系、速度制限なし、無限のCanvasで創造性を最大化する、オールインワンのAIクリエイティブプラットフォーム。