Segmentation
Qu’est-ce que Segmentation ?
La Segmentation est la capacité d'une IA à identifier précisément quels pixels d'une image appartiennent à quel objet : par exemple, dessiner avec précision le contour d'une personne séparée de l'arrière-plan. C'est ce qui rend possibles la suppression automatique d'arrière-plan, le rotoscoping intelligent et l'édition sélective.
En un coup d’œil
- Aussi appelé
- Segmentation d'imageSegmentation sémantiqueSegmentation d'instanceMasquage
- Utilisé pour
- Rotoscoping et suppression d'arrière-planéTalonnage couleur sélectifIsolement d'objets pour les VFXInpainting et outpainting par IACompréhension de scène
- Outils courants
- Meta SAMAdobe fireflyDaVinci resolveAfter effects roto brushTopaz video AIRunway
- Termes liés
- MaskingRotoscopingInpaintingOptical flowObject persistence
Prêt à créer ?
Réalisez des scènes, créez des personnages, livrez des films entiers
Plateforme créative IA tout-en-un, avec une tarification simple et transparente, sans bridage de vitesse, et un Canvas infini pour une créativité maximale.
Comparaison
La détection d'objets identifie quels objets sont présents dans une image et trace des boîtes englobantes autour d'eux, mais ne détermine pas la limite pixellique exacte de chaque objet. La segmentation va plus loin, produisant un masque précis au niveau du pixel. Pour de nombreuses applications VFX, les boîtes englobantes sont insuffisamment précises : il faut un masque propre et précis à l'image près, ce qui fait de la segmentation l'outil approprié.
Imaginez plutôt…
La segmentation est comme un découpeur expérimenté dans une agence photo qui, devant une double page de magazine, prend des ciseaux et découpe précisément autour de chaque personne, voiture et arbre : sans se contenter d'un carré approximatif, mais en suivant exactement chaque contour. Le résultat est une pile d'éléments découpés individuellement, recombinables à volonté. La segmentation IA fait la même chose automatiquement, pour chaque image d'une vidéo.
Astuce de pro
Lors de l'utilisation d'outils de segmentation IA pour le rotoscoping, vérifiez toujours le masque obtenu aux bords de votre sujet : les cheveux, les tissus fins et le flou de mouvement restent constamment les zones les plus difficiles pour les modèles de segmentation, et de petites erreurs de bord invisibles à l'affichage normal peuvent devenir évidentes sur grand écran ou après étalonnage du composite. Utilisez des outils d'affinage de bord ou des passes de retouche manuelle pour ces zones avant le compositing.
Types et variantes
- La segmentation se divise en plusieurs sous-types techniques.
- La segmentation sémantique attribue chaque pixel à une catégorie (ciel, personne, voiture) sans distinguer plusieurs instances de la même catégorie.
- La segmentation d'instance identifie et masque séparément chaque instance d'objet distincte : distinguant la personne A de la personne B.
- La segmentation panoptique combine les deux approches, étiquetant chaque pixel à la fois avec une catégorie et un identifiant d'instance.
- La segmentation d'objet vidéo suit un objet spécifié à travers les images au fil du temps.
- La segmentation promptable (comme dans SAM) permet aux utilisateurs de spécifier interactivement quoi segmenter sans pré-entraînement par catégorie.
- Chaque sous-type a des applications et des caractéristiques de précision distinctes dans les workflows de production.
Prêt à créer votre première scène dans Morphic ?
Essayer MorphicCas d’usage courants
- La segmentation est largement utilisée dans les effets visuels et la post-production.
- En compositing, elle permet une extraction précise du sujet pour le remplacement de fond vert et l'extension invisible de décor.
- En étalonnage, elle permet des ajustements sélectifs de la peau, du ciel ou des vêtements sans masquage manuel.
- Dans les workflows de génération IA, elle identifie des régions pour un inpainting ciblé ou un transfert de style.
- Dans le monitoring de production virtuelle, la segmentation en temps réel peut détecter la position du sujet et piloter en direct des éléments de réalité augmentée.
- En production documentaire et journalistique, le remplacement automatique d'arrière-plan via la segmentation IA permet aux reporters de terrain de s'intégrer dans des environnements de studio sans fond vert physique.
Prêt à créer ?
Réalisez des scènes, créez des personnages, livrez des films entiers
Plateforme créative IA tout-en-un, avec une tarification simple et transparente, sans bridage de vitesse, et un Canvas infini pour une créativité maximale.
FAQ
SAM est un modèle de segmentation promptable publié par Meta AI en 2023, entraîné sur plus d'un milliard d'annotations de masques. Son importance tient à sa généralité : plutôt que d'être entraîné à segmenter des catégories spécifiques, SAM peut segmenter presque n'importe quel objet dans n'importe quelle image à partir d'un clic, d'une boîte englobante ou d'un prompt textuel. Il constitue ainsi une base polyvalente pour construire des outils de segmentation personnalisés.
Les cheveux fins, la fourrure, les tissus semi-transparents et les surfaces transparentes ou réfléchissantes restent difficiles pour tous les modèles de segmentation. Bien que la précision se soit considérablement améliorée, ces cas nécessitent encore généralement un affinage manuel en production professionnelle. Combiner la segmentation IA avec des algorithmes de matting dédiés (qui gèrent mieux les bords doux et semi-transparents) donne les meilleurs résultats.
Oui : des modèles de segmentation plus légers et optimisés fonctionnent en temps réel sur les GPU modernes et même sur CPU dans certains cas. La segmentation en temps réel est utilisée dans la suppression d'arrière-plan en visioconférence, les effets de diffusion en direct, et de plus en plus dans les outils de monitoring de production virtuelle sur plateau.
Le rotoscoping manuel implique qu'un artiste dessine à la main des masques image par image autour des sujets : extrêmement chronophage mais capable d'une précision parfaite. La segmentation IA produit des résultats bons à excellents automatiquement en quelques secondes, mais nécessite généralement une passe de révision et de correction. Pour la plupart des productions, la segmentation IA fournit désormais le masque de base qu'un artiste affine ensuite, plutôt que de peindre de zéro.
La segmentation identifie la région précise à inpaindre : par exemple, isoler un objet indésirable à supprimer. Le masque de segmentation est ensuite transmis à un modèle d'inpainting qui remplit la région masquée avec un contenu contextuellement approprié. Des masques de segmentation précis sont directement corrélés à des résultats d'inpainting plus propres, les masques imprécis créant des artefacts de bord visibles.
La segmentation à image unique traite chaque image indépendamment. La segmentation vidéo temporelle maintient une identité d'objet cohérente à travers les images, en suivant l'évolution du masque à mesure que le sujet se déplace. Cela exige que le modèle corrèle les caractéristiques entre les images, résiste à la dérive et gère proprement les occlusions : nettement plus difficile que le traitement image par image et plus important pour un usage professionnel en compositing.
