ControlNet
Qu’est-ce que ControlNet ?
ControlNet permet de fournir à un générateur d'images IA une référence structurelle, comme une pose ou une carte de profondeur, afin que la sortie suive exactement cette disposition spatiale.
En un coup d’œil
- Aussi appelé
- Contrôle spatial pour modèles de diffusionContrôle conditionnel de génération d'images
- Utilisé pour
- Génération contrôlée par la poseComposition contrainte par la profondeurSynthèse d'images guidée par les contoursContrôle précis de la mise en page
- Outils courants
- Stable diffusion avec l'extension ControlNetComfyUIAutomatic1111
- Termes liés
- Diffusion modelImage-to-imagePose estimationDepth mapInpainting
Prêt à créer ?
Réalisez des scènes, créez des personnages, livrez des films entiers
Plateforme créative IA tout-en-un, avec une tarification simple et transparente, sans bridage de vitesse, et un Canvas infini pour une créativité maximale.
Comparaison
la génération image-vers-image utilise une image de référence directement comme point de départ visuel, influençant à la fois la structure et le contenu visuel de la sortie. ControlNet extrait des informations structurelles spécifiques d'une référence, comme la pose ou les contours, et les utilise comme contrainte spatiale tout en laissant le contenu visuel et le style à l'invite textuelle et au modèle de base. ControlNet apporte une précision structurelle sans que le contenu visuel complet de la référence n'apparaisse dans la sortie.
Imaginez plutôt…
Imaginez que vous dessinez une image et que quelqu'un vous donne un livre de coloriage avec les contours déjà tracés, indiquant exactement où doivent se trouver toutes les lignes et formes. Vous pouvez choisir librement les couleurs et les textures de chaque zone, mais les formes sont déjà décidées pour vous. ControlNet fonctionne comme ce contour. Il fournit à l'IA un squelette structurel à suivre, qu'il s'agisse de la pose d'une personne, des contours d'une composition ou de la profondeur d'une scène, tout en laissant l'IA choisir tous les détails visuels, textures et styles à l'intérieur de cette structure. Fonctionnement en termes simples : un module de réseau de neurones distinct traite l'image de contrôle structurelle et transmet des informations de conditionnement spatial au modèle principal de génération pendant le processus de diffusion. Le module de contrôle contraint l'emplacement des choses ; le modèle principal décide de leur apparence. Où vous le rencontrez : ControlNet est utilisé dans les pipelines de génération IA open source pour la correspondance de pose de personnage, la génération de rendus d'architecture, la conversion d'illustration en rendu, et tout flux de travail nécessitant un contrôle compositionnel précis sur l'imagerie générée par IA.
Astuce de pro
Lorsque vous utilisez plusieurs entrées ControlNet simultanément, ajustez le poids de chaque module de contrôle plutôt que de les appliquer tous à pleine puissance. Un contrôle de pose à un poids de 0,8 combiné à un contrôle de profondeur à un poids de 0,6 produit généralement de meilleurs résultats que les deux à 1,0, car cela laisse au modèle de base davantage de marge pour produire une qualité visuelle cohérente dans le respect des contraintes structurelles, plutôt que de devoir arbitrer entre des signaux de contrôle concurrents à fort poids.
Types et variantes
- Le ControlNet de pose utilise des cartes de points-clés de squelette pour contrôler la position du corps d'un personnage.
- Le ControlNet de contours s'appuie sur des cartes de détection de contours pour contraindre les lignes structurelles de la sortie.
- Le ControlNet de profondeur utilise des cartes de profondeur pour préserver les relations spatiales de profondeur à partir d'une référence.
- Le ControlNet de segmentation utilise des étiquettes de zones pour contrôler le type de contenu qui apparaît dans chaque partie du cadre.
- Le ControlNet de carte de normales s'appuie sur les données de normales de surface pour contraindre le caractère tridimensionnel des surfaces dans la sortie.
- Plusieurs modules ControlNet peuvent être utilisés simultanément avec une pondération mixte entre les entrées de contrôle.
Prêt à créer votre première scène dans Morphic ?
Essayer MorphicCas d’usage courants
- La correspondance de pose de personnage utilise le ControlNet de pose pour générer des personnages dans des positions corporelles précises, définies par une image de référence ou un squelette.
- La préservation de mise en page utilise le ControlNet de contours ou de profondeur pour générer des versions stylisées d'une composition existante tout en conservant sa logique structurelle.
- Le placement de produits utilise le ControlNet de segmentation pour contrôler l'emplacement des différents types de contenu dans une scène générée.
- La visualisation architecturale s'appuie sur les contrôles de profondeur et de contours pour générer des rendus de conception qui préservent la structure spatiale d'une maquette ou d'un croquis existant.
Prêt à créer ?
Réalisez des scènes, créez des personnages, livrez des films entiers
Plateforme créative IA tout-en-un, avec une tarification simple et transparente, sans bridage de vitesse, et un Canvas infini pour une créativité maximale.
