CodeFormer
Qu’est-ce que CodeFormer ?
CodeFormer est un outil IA qui répare et affine les visages dans les images et vidéos floues ou de basse qualité, en utilisant une bibliothèque de détails faciaux de haute qualité appris pour reconstituer à quoi le visage devrait ressembler.
En un coup d’œil
- Type of model
- Modèle de restauration et d'amélioration de visages utilisant un codebook discret et une architecture transformer
- Developed by
- S-Lab, Nanyang Technological University
- Key capability
- Restauration de visages de haute qualité à partir d'entrées dégradées avec contrôle de l'équilibre fidélité-original
- How it fits in AI workflow
- Utilisé en post-traitement pour améliorer la qualité des visages dans les images générées par IA, les vidéos upscalées ou la restauration de séquences d'archives
Prêt à créer ?
Réalisez des scènes, créez des personnages, livrez des films entiers
Plateforme créative IA tout-en-un, avec une tarification simple et transparente, sans bridage de vitesse, et un Canvas infini pour une créativité maximale.
Comparaison
Les deux sont des modèles IA de restauration de visages qui améliorent la qualité des visages dégradés, mais CodeFormer utilise une approche basée sur un codebook qui produit généralement de meilleurs résultats sur des entrées sévèrement dégradées et offre un paramètre de fidélité contrôlable. GFPGAN est un modèle antérieur qui reste largement utilisé et plus rapide, mais CodeFormer est généralement considéré comme plus performant sur les tâches de restauration difficiles.
Astuce de pro
Lorsque vous utilisez CodeFormer sur des visages générés par IA, commencez avec un poids de fidélité autour de 0,5 et ajustez selon que la préservation de l'identité ou la qualité de sortie importe le plus pour votre cas d'usage : des valeurs plus basses donnent des résultats plus nets mais peuvent dériver du visage d'origine, ce qui peut être important pour la cohérence d'un personnage à travers une production.
Types et variantes
- CodeFormer est principalement diffusé sous forme d'un modèle unique, bien qu'il puisse être exécuté avec différents réglages de poids de fidélité (généralement exprimés sous forme de valeur comprise entre 0 et 1) qui modifient l'équilibre entre la qualité de sortie et la préservation de l'identité.
- Il est disponible via le dépôt GitHub officiel, intégré à AUTOMATIC1111 Stable Diffusion Web UI en tant qu'option de restauration de visages, et utilisé dans divers outils d'amélioration et d'upscaling vidéo.
Prêt à créer votre première scène dans Morphic ?
Essayer MorphicCas d’usage courants
- CodeFormer est utilisé pour restaurer des visages dans d'anciennes photographies ou des photographies de basse qualité, améliorer le détail facial dans les images générées par IA dont la génération de visage a produit des résultats flous ou chargés d'artefacts, améliorer la qualité des visages dans les séquences vidéo upscalées, et dans le cadre de pipelines de restauration vidéo pour des médias d'archives ou historiques.
- Il est également utilisé dans les workflows d'amélioration d'avatars et de portraits IA.
Prêt à créer ?
Réalisez des scènes, créez des personnages, livrez des films entiers
Plateforme créative IA tout-en-un, avec une tarification simple et transparente, sans bridage de vitesse, et un Canvas infini pour une créativité maximale.
FAQ
CodeFormer restaure et améliore les visages dans les images et vidéos dégradées en s'appuyant sur un codebook appris de composants de visage de haute qualité pour reconstituer les détails, la netteté et la texture du visage à partir d'entrées floues ou de basse résolution.
Contrairement à un upscaling simple, qui agrandit les pixels sans ajouter de détails réels, CodeFormer hallucine des détails faciaux plausibles et de haute qualité en se référant à une bibliothèque apprise de composants de visage réels, donnant lieu à une reconstruction faciale beaucoup plus nette et réaliste.
Le paramètre de fidélité, typiquement réglé entre 0 et 1, contrôle à quel point CodeFormer reste fidèle au visage d'entrée original. Des valeurs plus basses privilégient la qualité de sortie et la netteté, au prix d'une légère altération possible de l'identité ; des valeurs plus élevées restent plus proches de l'apparence d'origine.
Oui, CodeFormer peut être appliqué image par image à des séquences vidéo pour restaurer ou améliorer les visages dans la vidéo. Il est utilisé dans les pipelines de restauration vidéo, bien que le traitement de chaque image puisse être long sans accélération GPU.
CodeFormer est open-source et disponible gratuitement via son dépôt GitHub. Il est également intégré à plusieurs outils IA d'image et de vidéo gratuits et commerciaux, dont AUTOMATIC1111 Stable Diffusion Web UI.
Utilisez CodeFormer lorsque vous avez besoin de résultats de meilleure qualité sur des visages sévèrement dégradés ou de très basse résolution, ou lorsque vous souhaitez une fidélité contrôlable. GFPGAN est plus rapide et plus simple, ce qui le rend adapté lorsque la vitesse prime ou que les entrées ne sont que légèrement dégradées.
