Inversion textuelle (Textual Inversion)

Une description textuelle peut approximer un style si le modèle en possède déjà de solides représentations issues de l'entraînement, mais de nombreux styles nuancés, propriétaires ou obscurs ne peuvent pas être invoqués de manière fiable par le seul langage. La textual inversion encode l'information visuelle directement dans un embedding qui conditionne la génération bien plus précisément qu'une description verbale, capturant des détails esthétiques, des tendances chromatiques et des qualités compositionnelles spécifiques que le langage ne peut pas pleinement transmettre. Cela la rend particulièrement précieuse pour des styles trop spécifiques ou peu courants pour être bien représentés dans les données d'entraînement du modèle.

Des embeddings efficaces peuvent généralement être entraînés à partir de seulement trois à dix images de référence, rendant la technique accessible même lorsque la documentation visuelle est limitée. Les images doivent démontrer de manière cohérente le concept à capturer tout en variant suffisamment sur d'autres attributs (sujet, arrière-plan, composition) pour empêcher le modèle d'associer l'embedding à des caractéristiques accessoires des images d'entraînement plutôt qu'au concept visé.

Oui, et le partage est l'un des avantages notables de la technique. Comme les embeddings sont de petits fichiers qui n'encodent que la représentation du nouveau token, ils peuvent être facilement distribués et utilisés par d'autres qui les appliqueront au même modèle de base. La communauté Stable Diffusion a développé de vastes bibliothèques d'embeddings partagés représentant des styles artistiques, des concepts esthétiques et des caractéristiques visuelles que les créateurs peuvent intégrer à leurs propres workflows sans rien entraîner eux-mêmes.

La textual inversion est le plus directement associée à Stable Diffusion et aux modèles construits sur des architectures similaires, où la technique a été développée et dispose de l'outillage le plus établi. Les modèles commerciaux fermés n'exposent généralement pas l'accès à leurs espaces d'embedding d'une manière qui permettrait un entraînement externe de textual inversion, bien que certaines plateformes proposent leurs propres mécanismes de personnalisation qui atteignent des objectifs similaires par d'autres moyens techniques.

La textual inversion fonctionne en ajustant un nouveau concept dans un espace d'embedding existant que le modèle n'a pas été explicitement entraîné à étendre, ce qui limite la quantité d'information visuelle nouvelle pouvant être encodée de manière fiable. Pour capturer la ressemblance d'une personne spécifique avec une grande fidélité dans de nombreux contextes et poses différents, cette approche se révèle souvent insuffisante. DreamBooth fine-tune les poids du modèle eux-mêmes, lui donnant la capacité de restructurer ses représentations internes pour accueillir plus complètement le nouveau concept, produisant une généralisation plus forte au prix d'un investissement de calcul plus important.

Le temps d'entraînement dépend du matériel, du nombre d'étapes d'entraînement utilisées et de l'implémentation. Sur un GPU grand public performant, un embedding de textual inversion basique peut être entraîné en moins d'une heure, souvent en quinze à trente minutes. Les services d'entraînement basés sur le cloud peuvent produire des embeddings en quelques minutes. Le temps d'entraînement relativement court est l'un des avantages pratiques de la technique par rapport au fine-tuning complet de modèle, rendant l'itération et l'expérimentation possibles sans coût de calcul significatif.

La textual inversion telle qu'initialement définie s'applique aux modèles de génération d'images et aux espaces d'embedding textuel de ces architectures spécifiques. Certains modèles et workflows de génération vidéo qui s'appuient sur des fondations de modèles d'image peuvent intégrer des embeddings de ces modèles de base, mais l'applicabilité varie sensiblement selon la plateforme et le modèle. En pratique, la plupart des personnalisations de génération vidéo reposent sur le conditionnement par image de référence (fournir une image générée ou capturée comme ancrage visuel) plutôt que sur des approches basées sur des embeddings.

La textual inversion occupe une position légère dans le spectre de la personnalisation de modèles IA. C'est le point d'entrée le plus accessible, exigeant le moins de données d'entraînement, de ressources de calcul et de surcharge technique, et produisant les plus petits fichiers de sortie. L'entraînement LoRA constitue un cran au-dessus en puissance et en flexibilité, en fine-tunant un petit sous-ensemble des poids du modèle pour capturer des concepts avec une plus grande fidélité. DreamBooth est encore plus puissant, en fine-tunant plus largement pour la capture de concept la plus forte. Choisir entre ces techniques implique d'équilibrer la force de capture requise avec les ressources disponibles pour l'entraînement.