データセット

データセットは、AIモデルが訓練される事例の集合です。画像・映像生成では、データセットはテキスト記述と対になった画像や映像で構成され、そこからモデルは言語と視覚コンテンツの関係を理解することを学びます。

データセットは、どんな被写体、スタイル、シナリオを扱えるか、どんなバイアスを反映しうるか、どこで能力が尽きるかを含め、モデルが何を学んだかを決めます。モデルの出力は、訓練データの内容、多様性、品質によって根本的に形作られます。

画像生成の基盤モデルは通常、数億から数十億の画像テキストペアで訓練されます。この規模が、ユーザーがプロンプトで記述できる膨大な種類の被写体、スタイル、組み合わせを扱うのに必要な幅を提供します。

ファインチューニングデータセットは、すでに訓練されたモデルを特定の被写体、スタイル、領域で特化させるために使われる、より小規模でキュレーションされた集合です。たとえば、特定のキャラクターの十枚から三十枚の画像の集合を使って、そのキャラクターを一貫して生成するようモデルをファインチューニングできます。

モデルは、データセットに埋め込まれた文化的、人口統計的、美的なバイアスを含め、訓練データに存在する統計的パターンを学びます。特定の被写体、文化的文脈、視覚的スタイルがデータで十分に表現されていなければ、モデルはそれらをあまり信頼できる形で扱えません。

合成データセットは、実世界のデータではなく人工的に生成された事例で構成されます。合成データセットは、必要な規模で実際の事例を集めるのが実用的でないとき、または特定の種類の訓練事例を実世界から調達するのが難しいときに使われます。

異なるアングル、照明、距離を含む多様な条件で、被写体の高品質な画像の集合をキュレーションします。量より変化と品質を優先します。十枚から三十枚の多様でよくキュレーションされた画像は通常、より大きなほぼ同一の画像の集合よりも良いファインチューニング結果を生みます。

訓練データは、モデルを訓練するために使われるデータセットの一部で、そこからパラメータを学びます。テストデータは、訓練中に見ていない取り置きの一部で、モデルが新しい事例にどれだけ汎化するかを評価するために使われます。これらの集合を分けておくことで、評価が暗記ではなく実世界の性能を反映するようにします。