Deforum
Qu’est-ce que Deforum ?
Deforum est un outil open source qui transforme la génération d'images Stable Diffusion en animation en permettant aux utilisateurs de définir comment l'image, la caméra et les prompts évoluent dans le temps à travers une séquence d'images.
En un coup d’œil
- Type of model
- Extension d'animation open source pour Stable Diffusion, et non un modèle autonome
- Developed by
- Communauté open source (contributeurs Deforum)
- Key capability
- Animation par keyframes des sorties Stable Diffusion avec contrôles de mouvement de caméra, planification de prompts et paramètres de transformation image par image
- How it fits in AI workflow
- Utilisé pour produire des séquences vidéo animées par IA dans l'écosystème Stable Diffusion, en particulier pour les animations expérimentales, stylisées et pilotées par paramètres qui nécessitent plus de contrôle que les modèles vidéo dédiés ne fournissent
Prêt à créer ?
Réalisez des scènes, créez des personnages, livrez des films entiers
Plateforme créative IA tout-en-un, avec une tarification simple et transparente, sans bridage de vitesse, et un Canvas infini pour une créativité maximale.
Comparaison
Les modèles de génération vidéo dédiés tels que ceux de Runway ou Kling génèrent la vidéo comme une séquence unifiée avec une cohérence temporelle apprise, produisant un mouvement qui semble naturel et physiquement plausible. Deforum génère image par image avec une transformation appliquée entre chacune, produisant une esthétique caractéristique de morphing fluide visuellement distinctive mais moins cohérente temporellement que les modèles vidéo dédiés. Deforum offre un plus grand contrôle au niveau des paramètres ; les modèles dédiés offrent un mouvement plus naturel et un fonctionnement plus simple.
Astuce de pro
Lors de l'utilisation de Deforum pour l'animation, définir de petites valeurs de transformation par image et utiliser des séquences plus longues produit un mouvement plus fluide et plus contrôlé que de grands sauts par image. Un incrément de zoom de 0,02 par image sur 300 images crée un zoom régulier et progressif qui semble cinématique ; un zoom de 0,2 par image sur 30 images produit le même mouvement total mais paraît rapide et saccadé. Des réglages subtils avec des séquences plus longues sont presque toujours préférables pour une sortie soignée.
Types et variantes
- Le mode 2D applique les transformations directement à l'image générée comme à une image plate, y compris le zoom, la rotation et la translation, produisant l'animation par manipulation d'image image par image.
- Le mode 3D utilise l'estimation de profondeur pour appliquer une simulation de mouvement de caméra à perspective correcte, créant un sens plus convaincant de déplacement dans un espace tridimensionnel.
- Le mode entrée vidéo utilise une vidéo existante comme initialisation pour chaque image générée, appliquant la stylisation Deforum sur des images réelles.
- La planification des prompts permet aux prompts textuels de changer à des points de keyframe définis, permettant au contenu animé d'évoluer entre différents sujets ou styles au cours de la séquence.
Prêt à créer votre première scène dans Morphic ?
Essayer MorphicCas d’usage courants
- Produire des séquences d'animation IA expérimentales et psychédéliques pour des projets artistiques, des clips musicaux et l'exploration créative.
- Générer des visuels oniriques en morphing qui s'écoulent continuellement entre sujets et environnements au fil du temps.
- Créer des arrière-plans animés en boucle et des environnements visuels pour la performance live, l'art d'installation et les contextes de motion graphics.
- Styliser des séquences vidéo existantes en utilisant l'esthétique Stable Diffusion appliquée image par image via le mode d'entrée vidéo de Deforum.
- Construire des séquences d'animation IA de longue durée avec un mouvement de caméra précisément contrôlé et une évolution de prompt que les modèles vidéo dédiés ne peuvent reproduire au même niveau de paramètre.
Prêt à créer ?
Réalisez des scènes, créez des personnages, livrez des films entiers
Plateforme créative IA tout-en-un, avec une tarification simple et transparente, sans bridage de vitesse, et un Canvas infini pour une créativité maximale.
FAQ
Deforum est une extension open source pour Stable Diffusion qui permet l'animation par keyframes et le contrôle du mouvement de caméra dans la vidéo générée par IA. Il génère chaque image individuellement avec des paramètres ajustés de manière incrémentale, produisant des séquences animées à partir du pipeline de génération d'images Stable Diffusion.
Deforum génère chaque image vidéo comme une image Stable Diffusion distincte, appliquant des transformations incrémentales, y compris le zoom, la rotation, la translation et les changements de prompt entre les images selon un calendrier de keyframes défini par l'utilisateur. Les images résultantes sont compilées en une séquence vidéo.
La planification des prompts permet aux prompts textuels qui guident la génération de changer à des points de keyframe spécifiés tout au long de l'animation, permettant au contenu d'image d'évoluer entre différents sujets ou esthétiques au cours de la séquence.
Oui, pour des cas d'usage spécifiques. Deforum offre un contrôle granulaire au niveau des paramètres sur les calendriers d'animation que les modèles vidéo dédiés ne fournissent pas, et son esthétique caractéristique de morphing fluide est distinctive et appréciée pour les contextes expérimentaux et artistiques. Il reste pertinent pour les créateurs travaillant dans l'écosystème Stable Diffusion.
Le mode 2D applique les transformations comme des manipulations d'image plate, zoomant, faisant pivoter ou translatant directement l'image générée. Le mode 3D utilise l'estimation de profondeur pour appliquer une simulation de mouvement de caméra à perspective correcte, créant un sens plus convaincant de déplacement dans un espace tridimensionnel.
Deforum produit un style d'animation distinctif de morphing fluide où le contenu d'image évolue et change continuellement à mesure que la caméra semble se déplacer à travers ou autour de formes visuelles génératives. Cette esthétique est devenue reconnaissable comme un genre d'art vidéo IA dans l'ère précoce des modèles de diffusion.
Deforum est accessible via Automatic1111 ou d'autres interfaces Stable Diffusion avec une interface graphique, réduisant le besoin d'interaction directe avec le code. Cependant, l'utilisation avancée de la planification des prompts et des paramètres personnalisés bénéficie d'une familiarité avec les structures de paramètres sous-jacentes.
Oui. Le mode d'entrée vidéo de Deforum utilise une vidéo existante comme initialisation d'image, appliquant la stylisation Stable Diffusion sur les images sources image par image. Cela produit une version stylisée du contenu vidéo original rendue dans l'esthétique du modèle et du prompt choisis.
