CLIP
Qu’est-ce que CLIP ?
CLIP est un modèle IA qui comprend la connexion entre les mots et les images, et il est utilisé en coulisses dans la plupart des générateurs d'images IA pour traduire votre prompt textuel en instructions que le modèle de génération peut suivre.
En un coup d’œil
- Aussi appelé
- Contrastive Language–Image pre-trainingEncodeur CLIPModèle vision-langage
- Utilisé pour
- Encodage de prompt textuel en génération d'imagesRecherche d'images sémantiqueCalcul de similarité image-texteGuidage des modèles de diffusionClassification d'images zero-shot
- Outils courants
- Stable diffusionDALL-eMidjourneyCLIP interrogatorOpenCLIP
- Termes liés
- Diffusion modelText encoderLatent spaceEmbeddingPrompt engineering
Prêt à créer ?
Réalisez des scènes, créez des personnages, livrez des films entiers
Plateforme créative IA tout-en-un, avec une tarification simple et transparente, sans bridage de vitesse, et un Canvas infini pour une créativité maximale.
Comparaison
Tous deux servent à encoder des prompts textuels pour la génération d'images, mais CLIP a été entraîné conjointement sur des paires image-texte, ce qui lui confère une forte compréhension visuelle-sémantique, tandis que T5 est un modèle de langage pur qui encode une structure linguistique plus riche. Les modèles de génération plus récents, tels que ceux utilisant l'architecture Flux, combinent souvent les deux types d'encodeurs pour profiter des atouts de chacun.
Imaginez plutôt…
Considérez CLIP comme un traducteur universel qui parle à la fois la langue des images et celle des mots. Lorsque vous tapez un prompt dans un générateur d'images IA, CLIP lit vos mots et les convertit en une forme que le générateur peut comprendre visuellement : un peu comme traduire une description écrite d'un tableau en concepts visuels qu'un artiste peut réellement peindre.
Astuce de pro
Comme CLIP sous-tend la majeure partie de l'encodage des prompts textuels, les prompts décrivant des qualités visuelles, l'éclairage, la composition et le style en termes concrets seront interprétés plus fiablement qu'un langage abstrait, émotionnel ou conceptuel. CLIP comprend les descriptions visuelles plus directement que l'ambiance ou la métaphore.
Types et variantes
- Le modèle CLIP original d'OpenAI a été suivi de nombreuses variantes et successeurs.
- OpenCLIP est une reproduction et une extension open-source de CLIP entraînée sur des jeux de données différents.
- SigLIP, développé par Google, améliore l'approche d'entraînement de CLIP pour un meilleur alignement image-texte.
- Les variantes CLIP ViT diffèrent par la taille du vision transformer utilisé en backbone, ce qui affecte la capacité et le coût de calcul.
- De nombreux modèles de génération d'images utilisent des versions fine-tunées ou étendues de CLIP comme encodeurs de texte, chacune ayant des forces légèrement différentes dans la compréhension de certains types de langage de prompt.
Prêt à créer votre première scène dans Morphic ?
Essayer MorphicCas d’usage courants
- CLIP est utilisé comme encodeur de texte dans la majorité des pipelines de génération d'images et de vidéos basés sur la diffusion, traduisant les prompts écrits en représentations numériques qui guident la génération.
- Il alimente la recherche d'images sémantique dans les banques d'images et les outils créatifs.
- Les outils CLIP Interrogator utilisent le modèle en sens inverse pour décrire en langage naturel ce que contient une image.
- Il est également utilisé pour l'évaluation automatisée des images générées, en mesurant à quel point la sortie correspond à un prompt donné.
Prêt à créer ?
Réalisez des scènes, créez des personnages, livrez des films entiers
Plateforme créative IA tout-en-un, avec une tarification simple et transparente, sans bridage de vitesse, et un Canvas infini pour une créativité maximale.
FAQ
CLIP signifie Contrastive Language–Image Pre-training. C'est un modèle développé par OpenAI qui apprend à connecter images et texte en s'entraînant sur de grandes quantités de paires image-texte.
Dans les pipelines de génération d'images, l'encodeur de texte de CLIP convertit votre prompt écrit en une représentation numérique ( un embedding ) qui guide le modèle de diffusion durant la génération d'image. Le modèle utilise cette représentation pour orienter ce qu'il produit vers la correspondance avec votre description.
Oui, CLIP a été développé par OpenAI et présenté dans un article de recherche en 2021. Des versions open-source et des successeurs comme OpenCLIP ont depuis été développés par la communauté de recherche.
Un score CLIP est une métrique qui mesure à quel point une image générée correspond à un prompt textuel donné en calculant la similarité entre l'image et le texte dans l'espace d'embedding partagé de CLIP. Des scores CLIP plus élevés indiquent un meilleur alignement avec le prompt.
La plupart des générateurs d'images basés sur la diffusion utilisent CLIP ou un modèle vision-langage similaire comme encodeur de texte. Certains modèles plus récents utilisent des alternatives comme T5 ou combinent plusieurs encodeurs pour une compréhension de prompt plus riche, mais CLIP reste la base la plus largement utilisée.
CLIP Interrogator est un outil qui utilise le modèle CLIP en sens inverse : plutôt que de convertir du texte en concepts visuels, il analyse une image et génère des descriptions textuelles qui lui correspondent le mieux. C'est utile pour découvrir des prompts capables de reproduire un style visuel particulier.
