Hyperréseau
Qu’est-ce que Hyperréseau ?
Un hypernetwork est un petit réseau neuronal qui modifie le comportement d'un modèle d'images IA plus grand, l'entraînant à générer dans un style spécifique ou avec des sujets spécifiques : sans modifier directement les poids du modèle d'origine.
En un coup d’œil
- Aussi appelé
- HN (abréviation dans la communauté stable diffusion)
- Utilisé pour
- Spécialiser les modèles de génération d'images IA pour des styles ou sujets spécifiquesAppliquer des adaptations de style d'artiste à un modèle de baseCréer des modifications de modèle modulaires et interchangeables
- Outils courants
- Stable diffusion (AUTOMATIC1111 WebUI, ComfyUI)Divers pipelines open source de fine-tuning
- Termes liés
- LoRAFine-tuningEmbedding / textual inversionStable diffusionModel weights
Prêt à créer ?
Réalisez des scènes, créez des personnages, livrez des films entiers
Plateforme créative IA tout-en-un, avec une tarification simple et transparente, sans bridage de vitesse, et un Canvas infini pour une créativité maximale.
Comparaison
les deux sont des méthodes de fine-tuning efficaces en paramètres qui spécialisent un modèle de base sans réentraînement complet. LoRA fonctionne en décomposant les mises à jour de poids en paires de matrices de rang bas qui sont appliquées directement aux couches du modèle, atteignant généralement une meilleure qualité et un comportement d'entraînement plus prévisible que les hypernetworks pour un coût de calcul similaire. En conséquence, LoRA est devenu la technique dominante en pratique. Les hypernetworks sont plus anciens et plus limités en comparaison, bien qu'ils restent utilisables dans les environnements où le support LoRA n'est pas disponible.
Astuce de pro
Lors du travail avec des hypernetworks dans AUTOMATIC1111, le multiplicateur de force : la valeur qui mesure l'intensité avec laquelle les modifications de l'hypernetwork sont appliquées : affecte significativement la sortie. À pleine force (1.0), de nombreux hypernetworks dominent le prompt, produisant des sorties qui reflètent le style de l'hypernetwork au détriment du contenu du prompt. Réduire le multiplicateur à 0,5–0,7 produit souvent un meilleur mélange entre l'influence stylistique de l'hypernetwork et le contenu décrit dans le prompt.
Types et variantes
- Les hypernetworks sont généralement caractérisés par leur cible d'entraînement : les hypernetworks de style apprennent les caractéristiques d'une esthétique visuelle ou d'un style d'artiste particulier, tandis que les hypernetworks de sujet apprennent l'apparence d'un personnage, objet ou concept spécifique.
- Ils varient en taille (mesurée par leur profondeur et largeur de couches) et en qualité d'entraînement, les hypernetworks plus grands pouvant potentiellement capturer plus de nuances mais nécessitant plus de données d'entraînement et de calcul.
- La technique est le plus étroitement associée à Stable Diffusion 1.
- 5 et aux modèles connexes de la période 2022–2023 ; les architectures de modèles plus récentes ont été moins couramment adaptées à l'aide d'hypernetworks, LoRA devenant l'approche de fine-tuning dominante pour les générations de modèles suivantes.
Prêt à créer votre première scène dans Morphic ?
Essayer MorphicCas d’usage courants
- Les artistes et créateurs de la communauté Stable Diffusion utilisaient les hypernetworks pour entraîner des adaptations de style qui reproduisaient les caractéristiques visuelles de mouvements artistiques particuliers, de styles d'illustration ou du travail d'artistes individuels, puis partageaient ces hypernetworks pour que d'autres les utilisent.
- Les concepteurs de personnages entraînaient des hypernetworks sur des conceptions de personnages originales pour produire une génération de personnages cohérente sans avoir à décrire chaque détail physique dans chaque prompt.
- Les utilisateurs commerciaux entraînaient des hypernetworks sur des identités visuelles de marque pour orienter la génération vers des sorties esthétiques conformes à la marque.
Prêt à créer ?
Réalisez des scènes, créez des personnages, livrez des films entiers
Plateforme créative IA tout-en-un, avec une tarification simple et transparente, sans bridage de vitesse, et un Canvas infini pour une créativité maximale.
FAQ
Un hypernetwork est un petit réseau neuronal auxiliaire qui modifie le comportement d'un modèle de génération d'images IA plus grand au moment de l'inférence, sans modifier directement les poids du modèle de base. Il est entraîné à appliquer des ajustements appris au traitement interne du modèle de base, orientant les sorties vers un style, un sujet ou une esthétique souhaités sans le coût d'un réentraînement complet du modèle.
Dans le fine-tuning standard, les poids du modèle de base lui-même sont mis à jour pour intégrer de nouvelles informations. Dans une approche hypernetwork, les poids du modèle de base restent inchangés, et à la place un petit réseau distinct apprend à produire des ajustements appliqués dynamiquement pendant la génération. Cela permet au modèle de base de rester intact tandis que plusieurs hypernetworks différents peuvent être chargés et échangés selon les besoins.
Les deux sont des méthodes de fine-tuning efficaces en paramètres qui spécialisent un modèle de base, mais ils fonctionnent différemment. Un LoRA applique des mises à jour de poids de rang bas directement aux couches du modèle, tandis qu'un hypernetwork entraîne un réseau distinct qui modifie les activations du modèle de base au moment de l'exécution. LoRA a largement supplanté les hypernetworks en pratique car il atteint généralement une meilleure qualité et des résultats d'entraînement plus cohérents.
Les hypernetworks pour les modèles basés sur Stable Diffusion sont disponibles sur des dépôts communautaires tels que Civitai. Ils peuvent être utilisés dans AUTOMATIC1111 WebUI et les interfaces compatibles en plaçant le fichier hypernetwork dans le dossier désigné et en le sélectionnant dans les paramètres de génération. La technique est le plus couramment rencontrée dans les flux Stable Diffusion 1.5 plus anciens.
L'entraînement d'hypernetwork est pris en charge dans AUTOMATIC1111 WebUI et divers scripts d'entraînement open source. Le processus nécessite un ensemble de données d'images représentant le style ou le sujet à apprendre, ainsi qu'une configuration d'entraînement appropriée. L'entraînement d'un hypernetwork nécessite généralement moins de ressources de calcul que l'entraînement d'un modèle complet mais plus que certaines autres approches de fine-tuning.
Les hypernetworks restent fonctionnels dans les environnements Stable Diffusion qui les supportent, et les hypernetworks entraînés pendant leur période d'utilisation maximale restent disponibles et utilisables. Cependant, LoRA est devenu la technique de fine-tuning dominante pour la plupart des usages pratiques, offrant généralement de meilleurs résultats avec un coût de calcul comparable ou inférieur. Les hypernetworks présentent principalement un intérêt dans les flux hérités ou dans les cas où des hypernetworks préentraînés spécifiques sont nécessaires.
Un embedding, également appelé inversion textuelle, ajoute un nouveau vocabulaire à l'encodeur de texte en entraînant un petit ensemble de vecteurs de tokens qui représentent un concept spécifique, permettant au modèle d'associer un nouveau mot déclencheur à un concept visuel appris. Un hypernetwork modifie les couches de génération d'images du modèle plutôt que son traitement de texte, le rendant adapté à la capture de caractéristiques de style visuel qui sont moins bien exprimées par la description textuelle seule.
Dans AUTOMATIC1111 et les interfaces similaires, un seul hypernetwork est généralement appliqué par génération. Contrairement à LoRA, qui prend en charge l'empilement de plusieurs adaptations simultanément avec des contrôles de force individuels, l'implémentation de l'hypernetwork dans la plupart des outils applique un à la fois. C'est un autre domaine où LoRA offre une plus grande flexibilité de flux de travail pour les créateurs qui ont besoin de combiner plusieurs adaptations en une seule génération.
