セグメンテーションは、画像や動画フレームを領域や物体ごとに分け、各ピクセルがどの被写体・領域・カテゴリに属するかで識別・ラベル付けする処理です。AI画像では、セグメンテーションでフレーム内の「何がどこにあるか」の正確な地図ができ、特定の被写体・背景・領域だけに選択的に処理をかけ、画像の他部分に影響を与えずに済みます。

画像・動画のAIワークフローでは複数のセグメンテーションが使われます。意味的セグメンテーションは各ピクセルを人物・空・道路・建物などのカテゴリでラベルし、同種のピクセルをまとめます。インスタンスセグメンテーションはさらに進み、同じカテゴリでも別インスタンスとして区別するため、フレーム内の二人は一つの「人物」領域ではなく別々の物体として認識されます。パノプティックセグメンテーションは両方を組み合わせ、各ピクセルにカテゴリと個々のインスタンス同一性の両方を付与してシーン全体を理解します。実用AIツールでは、背景除去・選択的マスキング・被写体を考慮したインペインティング・画像の一部への効果やスタイル変更の適用は、いずれもセグメンテーションに支えられています。動画セグメンテーションはこれを時間軸に広げ、被写体やカメラが動いてもフレーム間で一貫して領域を追跡します。

セグメンテーションは、多くの目に見えるAI生成・編集機能の基盤でありながら、ユーザーには技法そのものを直接見せないことが多いです。背景除去で人物を環境から分離するとき、インペインティングで選択領域だけを埋めるとき、一つの物体だけにスタイル効果をかけ他はそのままにするとき、それらの選択的処理を可能にしているのは、ピクセル単位の理解を提供するセグメンテーションという技術的プロセスです。