DreamBooth
Qu’est-ce que DreamBooth ?
DreamBooth est une technique d'entraînement d'un modèle d'image IA sur un petit ensemble de photos d'un sujet spécifique, afin de pouvoir générer ce sujet dans de nouvelles situations, styles et contextes.
En un coup d’œil
- Type of model
- Technique de fine-tuning pour personnaliser des modèles text-to-image à diffusion existants
- Developed by
- Google Research
- Key capability
- Entraîner un modèle de génération d'images IA sur trois à trente images d'un sujet spécifique afin de permettre la génération de ce sujet dans de nouveaux contextes, poses et styles
- How it fits in AI workflow
- Utilisé pour créer des modèles de personnages personnalisés, des outils visuels cohérents avec une marque et des générateurs personnalisés au sein des pipelines de production IA ; généralement appliqué aux modèles et workflows basés sur Stable Diffusion
Prêt à créer ?
Réalisez des scènes, créez des personnages, livrez des films entiers
Plateforme créative IA tout-en-un, avec une tarification simple et transparente, sans bridage de vitesse, et un Canvas infini pour une créativité maximale.
Comparaison
DreamBooth produit un checkpoint de modèle complètement affiné et atteint généralement une personnalisation forte et exhaustive du sujet à travers divers contextes de prompt. LoRA est une approche de fine-tuning plus efficiente sur le plan computationnel qui entraîne un petit ensemble de poids supplémentaires plutôt que l'ensemble du modèle, nécessitant moins de stockage et de temps d'entraînement tout en atteignant une personnalisation solide mais parfois moins exhaustive. En pratique, DreamBooth avec LoRA combine les deux approches, en utilisant la méthodologie d'entraînement DreamBooth avec le framework d'efficience LoRA pour équilibrer qualité et besoins en ressources.
Astuce de pro
La curation des images pour l'entraînement DreamBooth a un impact disproportionné sur la qualité du résultat. Plutôt que de collecter autant d'images que possible, privilégiez dix à vingt images variées et de haute qualité montrant le sujet sous des angles différents, avec des conditions de lumière différentes et des arrière-plans différents. Inclure des quasi-doublons, plusieurs images très similaires ou des images comportant d'autres éléments visuellement dominants enseigne au modèle les mauvais motifs. La variété au sein d'un petit ensemble bien curé l'emporte systématiquement sur de larges ensembles d'images redondantes.
Types et variantes
- Le fine-tuning DreamBooth complet met à jour tout ou la majeure partie des poids du modèle sur le jeu de données du sujet, produisant une personnalisation exhaustive et flexible mais nécessitant plus de stockage puisqu'un checkpoint complet du modèle est généré.
- DreamBooth avec LoRA combine l'approche DreamBooth avec le framework de fine-tuning efficient LoRA, réduisant les besoins de stockage et le temps d'entraînement tout en conservant de solides résultats de personnalisation.
- L'entraînement DreamBooth spécifique à une classe utilise une prior preservation loss, en entraînant le modèle avec des images génériques supplémentaires de la classe pour empêcher le fine-tuning de dégrader la capacité générale du modèle pendant qu'il apprend le sujet spécifique.
Prêt à créer votre première scène dans Morphic ?
Essayer MorphicCas d’usage courants
- Entraîner un modèle de personnage personnalisé à partir d'un petit ensemble d'images de référence pour générer ce personnage de manière cohérente à travers de nombreux prompts et scènes différents.
- Créer un modèle de génération propre à une marque entraîné sur des images produit, permettant une visualisation produit cohérente dans tout contexte décrit dans un prompt.
- Personnaliser un modèle de génération d'images avec un style artistique spécifique en l'entraînant sur un ensemble curé d'images de référence stylistiquement cohérentes.
- Construire un porte-parole ou un avatar IA récurrent à partir d'un jeu de photographies pour usage dans des contenus marketing, éducatifs et de communication.
- Affiner des modèles pour des applications créatives spécialisées lorsque le modèle de base par défaut ne fonctionne pas bien sur les sujets ou styles spécifiquement requis.
Prêt à créer ?
Réalisez des scènes, créez des personnages, livrez des films entiers
Plateforme créative IA tout-en-un, avec une tarification simple et transparente, sans bridage de vitesse, et un Canvas infini pour une créativité maximale.
