Remplacez une personne dans n'importe quelle vidéo par un personnage issu d'une seule image – mouvements du corps, expressions faciales et éclairage de scène inclus.
Le problème de l'animation de personnage
Vous avez conçu une mascotte de marque. Vous voulez maintenant la faire danser dans une vidéo produit. Jusqu'à récemment, cela signifiait assembler extraction de squelette, détection de visage, transfert de mouvement et un modèle de rendu séparé – chacun étant un point de défaillance potentiel, tous coûteux à exécuter sur des GPU cloud.
Qu'est-ce que Wan 2.2 Animate ?
Wan 2.2 Animate est un modèle open source de 14 milliards de paramètres issu de Wan-AI (Alibaba Group). Vous lui fournissez une vidéo d'une personne effectuant une action ainsi qu'une image de référence de votre personnage cible. Il génère une nouvelle vidéo où le personnage reproduit les mouvements et expressions de l'interprète.
Trois décisions techniques rendent cela possible.
Des signaux de squelette alignés spatialement pilotent le mouvement du corps. Le modèle extrait un squelette de pose de la vidéo source et le mappe sur le personnage, préservant posture et démarche image par image.
Le transfert d'expression fonctionne différemment. Au lieu de suivre des points de repère faciaux individuels, le modèle apprend des représentations compressées du visage source et les projette sur la cible – même quand les deux ne se ressemblent pas, par exemple une photographie mappée sur un personnage anime.
La troisième pièce est un module Relighting LoRA qui ajuste l'ombrage du personnage pour l'adapter à la scène. Sans lui, les personnages remplacés paraissent incrustés. Avec lui, les ombres et la température de couleur suivent l'environnement d'origine.
Ensemble, ces composants s'exécutent en une seule passe avant. Un seul appel d'inférence produit la vidéo finale.
Ce que vous pouvez construire avec
Du contenu de marque animé sans équipe de tournage. Enregistrez un clip de 5 secondes de quelqu'un qui fait un signe de la main ou qui pointe un produit. Combinez-le avec votre mascotte comme image de référence, et le personnage effectue exactement cette action – prêt pour les réseaux sociaux ou les pages produit. Les studios qui programmaient auparavant des sessions de capture de mouvement peuvent désormais prototyper à partir d'une vidéo de téléphone et d'un PNG.
Essayage virtuel pour le e-commerce. Filmez un mannequin marchant avec une tenue neutre, puis remplacez-le par différents avatars virtuels pour chaque gamme de produits. Le mouvement reste identique d'une variante à l'autre tandis que le personnage change, ce qui maintient une présentation cohérente sans devoir retourner.