AnimateDiff est un framework open source qui ajoute la capacité de génération de mouvement aux modèles de diffusion texte-image existants, permettant aux générateurs d'images fixes de produire de courtes séquences animées sans réentraînement. En insérant un module de mouvement appris dans un pipeline de génération d'images préexistant, AnimateDiff permet à des modèles entraînés uniquement sur des images statiques de générer un mouvement cohérent image par image, transformant en pratique les générateurs d'images en générateurs vidéo légers.

L'approche technique consiste à entraîner un module de mouvement sur des données vidéo séparément du backbone de génération d'images, puis à brancher ce module dans le modèle d'images au moment de l'inférence. Comme le module de mouvement est entraîné indépendamment, il peut être combiné avec de nombreux checkpoints de modèles d'images et fine-tunes LoRA différents. AnimateDiff a été une étape influente pour rendre la génération vidéo accessible dans l'écosystème open source de génération d'images.

Pour les créateurs qui explorent les workflows d'animation IA, AnimateDiff a démontré la valeur d'un design de modèle modulaire : séparer l'apprentissage du mouvement de l'apprentissage de l'apparence visuelle permet de développer chaque composant indépendamment.