Embedding (vecteur de représentation)
Qu’est-ce que Embedding (vecteur de représentation) ?
Un embedding est une représentation numérique compacte d'un concept, d'un style ou d'un sujet qu'un modèle IA peut utiliser pour guider la génération d'images, créée en s'entraînant sur un petit ensemble d'exemples.
En un coup d’œil
- Aussi appelé
- Embedding par inversion textuelleEmbedding TIToken apprisEmbedding de concept
- Utilisé pour
- Encoder des styles ou sujets visuels spécifiques pour usage dans des prompts de générationPersonnalisation légère du modèle sans fine-tuning completAjouter des personnages récurrents ou des concepts esthétiques à un workflow de générationPartage communautaire de styles et sujets visuels sous forme de fichiers compacts
- Outils courants
- Stable diffusion avec entraînement par inversion textuelleInterface d'entraînement d'embeddings AUTOMATIC1111Bibliothèques communautaires d'embeddings
- Termes liés
- DreamBoothFine-tuningLoRADatasetStable diffusion
Prêt à créer ?
Réalisez des scènes, créez des personnages, livrez des films entiers
Plateforme créative IA tout-en-un, avec une tarification simple et transparente, sans bridage de vitesse, et un Canvas infini pour une créativité maximale.
Comparaison
un embedding modifie uniquement le vecteur de conditionnement textuel utilisé pour guider la génération, en travaillant dans les limites de ce que le modèle de base connaît déjà. Un LoRA entraîne des ajustements de poids supplémentaires qui sont appliqués directement aux couches de traitement du modèle, fournissant une personnalisation plus exhaustive et flexible parce qu'il modifie la manière dont le modèle traite l'information plutôt que le seul prompt qu'il reçoit. Les embeddings sont plus légers et plus rapides à entraîner ; les LoRAs offrent une personnalisation plus forte et plus fiable, en particulier pour des sujets mal représentés dans l'entraînement du modèle de base.
Astuce de pro
Lorsque vous utilisez des embeddings communautaires dans un workflow Stable Diffusion, testez chaque embedding à différentes valeurs de pondération dans le prompt, comme (embedding_name:0.8) ou (embedding_name:1.2), plutôt que d'utiliser toujours le poids par défaut de 1.0. Certains embeddings sont entraînés à différentes intensités et donnent de meilleurs résultats à des poids légèrement au-dessus ou en dessous de la valeur par défaut. Démarrer à 0.7 puis augmenter par incréments de 0.1 révèle rapidement la pondération qui produit le mélange le plus utile du concept embarqué avec le reste du prompt.
Types et variantes
- Les embeddings de sujet encodent l'identité visuelle d'une personne, d'un personnage ou d'un objet spécifique, permettant de l'invoquer en incluant le token entraîné dans un prompt.
- Les embeddings de style capturent les caractéristiques esthétiques d'un style artistique, d'une technique d'illustration ou d'une qualité visuelle qui peut ensuite être appliquée à tout contenu généré.
- Les embeddings négatifs sont entraînés pour représenter des qualités visuelles que le créateur souhaite supprimer plutôt qu'encourager, utilisés dans le champ de prompt négatif pour réduire la probabilité d'apparition de caractéristiques indésirables spécifiques dans les générations.
- Les embeddings multi-vecteurs entraînés sur des budgets de tokens plus larges peuvent capturer des concepts plus complexes, au prix de davantage de ressources d'entraînement.
Prêt à créer votre première scène dans Morphic ?
Essayer MorphicCas d’usage courants
- Créer un embedding léger pour un personnage récurrent ou un élément de marque qui peut être référencé dans les prompts sans entraînement DreamBooth complet.
- Partager un style artistique ou une qualité esthétique sous forme de petit fichier d'embedding au sein de la communauté Stable Diffusion.
- Construire une bibliothèque d'embeddings de style et de sujet qui peuvent être combinés dans les prompts pour un contrôle de génération flexible et modulaire.
- Utiliser des embeddings négatifs pour supprimer des artefacts de génération courants, des erreurs anatomiques ou des caractéristiques visuelles indésirables à travers toutes les générations.
- Encoder des qualités visuelles spécifiques, comme un type particulier de grain de pellicule, un traitement colorimétrique ou une tendance compositionnelle, sous forme d'embedding pour une application cohérente à travers un projet.
Prêt à créer ?
Réalisez des scènes, créez des personnages, livrez des films entiers
Plateforme créative IA tout-en-un, avec une tarification simple et transparente, sans bridage de vitesse, et un Canvas infini pour une créativité maximale.
FAQ
Un embedding est une représentation numérique compacte d'un concept visuel, d'un style ou d'un sujet, entraînée sur un petit ensemble d'images exemples. Il permet aux créateurs de référencer les caractéristiques visuelles apprises dans les prompts de génération en incluant un mot déclencheur entraîné, en guidant le modèle vers la production de contenu cohérent avec le concept embarqué.
Un embedding modifie uniquement le vecteur de conditionnement textuel qui guide la génération, en travaillant dans les capacités existantes du modèle de base. Un LoRA entraîne des ajustements de poids supplémentaires appliqués directement aux couches du modèle, fournissant une personnalisation plus exhaustive. Les embeddings sont plus légers et plus rapides à entraîner ; les LoRAs offrent des résultats plus forts et plus flexibles.
L'inversion textuelle est la technique sous-jacente à la plupart des embeddings Stable Diffusion. Elle entraîne le vecteur d'embedding d'un nouveau token sur un petit ensemble d'images exemples, en cherchant une position dans l'espace d'embedding du modèle qui capture au mieux les caractéristiques visuelles du sujet, sans modifier les poids du modèle.
L'inversion textuelle peut produire des résultats utiles avec aussi peu que trois à dix images soigneusement sélectionnées. Davantage d'images peut améliorer la couverture de différents aspects du sujet, mais la technique est spécifiquement conçue pour les cas few-shot où seul un petit nombre d'exemples est disponible.
Un embedding négatif est entraîné pour représenter des qualités visuelles que le créateur souhaite supprimer plutôt qu'encourager. Placé dans le champ de prompt négatif lors de la génération, il réduit la probabilité d'apparition des caractéristiques embarquées dans la sortie, fonctionnant comme un filtre de qualité réutilisable.
Des plateformes communautaires comme Civitai hébergent de grandes bibliothèques d'embeddings pour personnages, styles et concepts visuels partagés par la communauté Stable Diffusion. Ils peuvent être téléchargés et utilisés dans des configurations de génération personnelles en plaçant le fichier dans le bon répertoire et en référençant le mot déclencheur dans les prompts.
Les embeddings entraînés sur un modèle de base spécifique sont généralement compatibles avec les variantes affinées de ce même modèle de base, mais pas avec des modèles d'architecture différente. Un embedding entraîné sur Stable Diffusion 1.5 ne fonctionnera pas dans SDXL ou d'autres modèles architecturalement distincts sans réentraînement.
Dans le champ plus large de l'IA, un embedding est toute représentation vectorielle numérique d'un objet discret qui capture ses propriétés sémantiques. Les encodeurs de texte des modèles de génération d'images convertissent les prompts en vecteurs d'embedding. Les embeddings par inversion textuelle dans la communauté Stable Diffusion sont une application spécifique de ce principe général, utilisant la technique pour représenter de nouveaux concepts visuels sous forme de vecteurs au sein de l'espace existant du modèle.
