セグメンテーション
セグメンテーションとは？
セグメンテーションとは、画像内のどのピクセルがどのオブジェクトに属するかをAIが正確に識別する能力です。たとえば、人物を背景から正確に切り抜くことができます。自動の背景除去、スマートなロトスコーピング、選択的な編集を可能にするものです。
ひと目で分かる
- 別名
- 画像セグメンテーションセマンティックセグメンテーションインスタンスセグメンテーションマスキング
- 用途
- ロトスコーピングと背景除去選択的なカラーグレーディングVFXのためのオブジェクト分離AIインペインティングとアウトペインティングシーンの理解
- 主なツール
- Meta SAMAdobe fireflyDaVinci resolveAfter effects roto brushTopaz video AIRunway
- 関連用語
- MaskingRotoscopingInpaintingOptical flowObject persistence
創ってみませんか？
シーンを演出し、キャラクターをデザインし、長編映像まで仕上げる
シンプルで透明性の高い料金体系、速度制限なし、無限のCanvasで創造性を最大化する、オールインワンのAIクリエイティブプラットフォーム。
他の概念との比較
Compared with related concepts
セグメンテーション対オブジェクト検出：オブジェクト検出は、画像内にどのオブジェクトが存在するかを識別し、その周りにバウンディングボックスを描きますが、各オブジェクトの正確なピクセル境界は決定しません。セグメンテーションはさらに進み、正確なピクセルレベルのマスクを生み出します。多くのVFX用途では、バウンディングボックスは精度が不十分です。きれいでフレーム精度の高いマスクが必要なため、セグメンテーションが適切なツールになります。
たとえば…
セグメンテーションは、写真エージェンシーの熟練した切り抜き職人のようなものです。雑誌の見開きを与えられると、ハサミを取り、各人物、車、木の周りを正確に切り抜きます。ざっくりした四角を描くのではなく、すべての輪郭を正確になぞります。結果は、どんな組み合わせでも再構成できる、個別に切り抜かれた要素の積み重ねです。AIセグメンテーションは同じことを、動画のすべてのフレームに対して自動的に行います。
プロのヒント
ロトスコーピングのためにAIセグメンテーションツールを使うときは、常に被写体の縁で出力マスクを確認してください。髪、細かい布地、モーションブラーは、セグメンテーションモデルにとって一貫して最も難しい領域であり、通常の表示では見えない小さな縁のエラーが、大きな画面やコンポジットをカラーグレーディングしたときに目立つことがあります。コンポジット前に、これらの領域には縁の精緻化ツールや手作業の修正パスを使いましょう。
種類とバリエーション
セグメンテーションはいくつかの技術的なサブタイプに分かれます。セマンティックセグメンテーションは、各ピクセルをカテゴリ（空、人、車）に割り当てますが、同じカテゴリの複数のインスタンスは区別しません。インスタンスセグメンテーションは、個別のオブジェクトインスタンスを識別して別々にマスクし、人物Aと人物Bを区別します。パノプティックセグメンテーションは両方のアプローチを組み合わせ、すべてのピクセルにカテゴリとインスタンスIDの両方をラベル付けします。ビデオオブジェクトセグメンテーションは、指定されたオブジェクトを時間をかけてフレーム間で追跡します。プロンプト可能なセグメンテーション（SAMのような）は、カテゴリの事前学習なしに、セグメント化するものをユーザーがインタラクティブに指定できます。各サブタイプは、制作ワークフローで異なる用途と精度特性を持ちます。
Morphicで最初のシーンを作ってみませんか？
Morphicを試す主な活用シーン
セグメンテーションはビジュアルエフェクトとポストプロダクション全体で広く使われます。コンポジティングでは、グリーンスクリーン置換や目に見えないセット拡張のための正確な被写体抽出を可能にします。カラーグレーディングでは、手作業のマスキングなしに肌、空、衣服への選択的な調整を可能にします。AI生成ワークフローでは、ターゲットを絞ったインペインティングやスタイル転送のための領域を識別します。バーチャルプロダクションのモニタリングでは、リアルタイムセグメンテーションが被写体の位置を検出し、ライブの拡張現実要素を駆動できます。ドキュメンタリーやニュース制作では、AIセグメンテーションを使った自動背景置換により、現場のレポーターが物理的なグリーンスクリーンなしでスタジオ環境に合成できます。
創ってみませんか？
シーンを演出し、キャラクターをデザインし、長編映像まで仕上げる
シンプルで透明性の高い料金体系、速度制限なし、無限のCanvasで創造性を最大化する、オールインワンのAIクリエイティブプラットフォーム。
FAQ
SAMはMeta AIが2023年にリリースしたプロンプト可能なセグメンテーションモデルで、10億を超えるマスクアノテーションで学習されました。その重要性は汎用性にあります。特定のカテゴリをセグメント化するように学習されるのではなく、SAMはポイントクリック、バウンディングボックス、テキストプロンプトに基づいて、ほぼあらゆる画像のほぼあらゆるオブジェクトをセグメント化できます。これにより、カスタムのセグメンテーションツールを構築するための汎用的な基盤になります。
細かい髪、毛皮、半透明の布地、透明または反射する表面は、すべてのセグメンテーションモデルにとって依然として難しいものです。精度は劇的に向上しましたが、これらのケースはプロフェッショナルな制作では通常まだ手作業の精緻化を必要とします。AIセグメンテーションを専用のマッティングアルゴリズム（柔らかく半透明な縁をより上手く扱う）と組み合わせると、最良の結果が得られます。
はい。軽量で最適化されたセグメンテーションモデルは、現代のGPU上でリアルタイムに動作し、場合によってはCPU上でも動作します。リアルタイムセグメンテーションは、ビデオ会議の背景除去、ライブ放送のエフェクト、そしてますますオンセットのバーチャルプロダクションモニタリングツールで使われています。
手作業のロトスコーピングは、アーティストが被写体の周りにフレームごとのマスクを手描きするもので、非常に時間がかかりますが完璧な精度が可能です。AIセグメンテーションは数秒で良好から優秀な結果を自動的に生み出しますが、通常は確認と修正のパスが必要です。ほとんどの制作では、AIセグメンテーションが今やベースマスクを提供し、アーティストはゼロから描くのではなくそれを精緻化します。
セグメンテーションは、インペイントすべき特定の領域を識別します。たとえば、除去のために不要なオブジェクトを分離します。セグメンテーションマスクはその後インペインティングモデルに渡され、マスクされた領域を文脈的に適切な内容で埋めます。正確なセグメンテーションマスクは、よりきれいなインペインティング結果と直接相関します。不正確なマスクは目に見える境界のアーティファクトを生み出すからです。
単一フレームのセグメンテーションは、各画像を独立して扱います。時間的なビデオセグメンテーションは、フレーム間で一貫したオブジェクトの同一性を維持し、被写体が動くにつれてマスクがどう変化するかを追跡します。これにはモデルがフレーム間で特徴を相関させ、ドリフトに抵抗し、オクルージョンをきれいに扱うことが必要です。フレームごとの処理よりも大幅に難しく、プロフェッショナルなコンポジティング用途ではより重要です。
