Le transfert de mouvement est une technique d'IA et de vision par ordinateur qui extrait les motifs de mouvement d'une vidéo source (incluant le timing, la direction, la vélocité et la mécanique corporelle du mouvement) et applique ce mouvement à un sujet, personnage ou figure différent dans une nouvelle sortie. Plutôt que d'animer un personnage à partir de zéro par image-clé ou par capture de mouvement au sens de la production traditionnelle, le transfert de mouvement permet aux créateurs d'utiliser n'importe quelle vidéo existante comme référence de mouvement, en extrayant les qualités structurelles et temporelles du mouvement et en les réappliquant à un nouveau sujet tout en préservant les caractéristiques du mouvement d'origine. Le résultat est une vidéo générée dans laquelle le sujet cible se déplace selon les mêmes motifs que la source, indépendamment des différences d'apparence, de morphologie, de vêtements ou de contexte visuel.
Le processus technique sous-jacent au transfert de mouvement implique généralement l'estimation de pose, c'est-à-dire l'identification et le suivi de points anatomiques clés (articulations, membres, contour du corps) à travers les images de la vidéo source, suivie d'un processus de génération qui synthétise le sujet cible exécutant la séquence de poses extraite. Les approches basées sur ControlNet et des cadres de conditionnement similaires permettent aux modèles de diffusion d'être guidés par des séquences de squelettes de pose, appliquant le mouvement extrait à un personnage généré dont l'apparence est définie par une image de référence ou une description textuelle distincte. Des modèles de génération vidéo plus récents intègrent le transfert de mouvement comme fonctionnalité intégrée, permettant l'entrée d'une vidéo de référence dont les caractéristiques de mouvement sont analysées et utilisées pour conditionner la génération d'une nouvelle vidéo avec un personnage ou une scène spécifié exécutant le même mouvement. La qualité du transfert de mouvement dans les systèmes IA actuels varie : les mouvements corporels simples, isolés et à grande échelle se transfèrent le plus fidèlement, tandis que les mouvements fins complexes, les interactions multi-personnes, la manipulation d'objets et les mouvements très dynamiques demeurent des domaines en développement actif avec des sorties incohérentes.
Pour les créateurs de vidéo IA, le transfert de mouvement ouvre des possibilités créatives significatives. Une chorégraphie de danse peut être appliquée à n'importe quel personnage généré, permettant la création de séquences animées sans accès à l'interprète spécifique. Les performances d'acteurs issues d'images de référence peuvent être utilisées comme références de mouvement pour des personnages générés par IA. Les performances athlétiques ou de cascades peuvent être transférées à des sujets synthétiques pour des visualisations d'entraînement, des démonstrations de produits ou des contenus narratifs. La technique réduit substantiellement la barrière à l'animation de personnages dans les workflows vidéo IA, en remplaçant le besoin d'une capture de performance en direct ou d'une animation par image-clé manuelle par une approche prompt-et-référence qui exploite le mouvement déjà présent dans des images existantes. Sur les plateformes dotées de capacités de transfert de mouvement, comprendre à la fois les forces de la technique et ses limites actuelles (en particulier en ce qui concerne la fidélité des mouvements complexes ou rapides et la cohérence de l'apparence du personnage généré sur la durée des séquences de mouvement transférées) est essentiel pour une utilisation efficace.
