Sustituye a una persona en cualquier vídeo por un personaje a partir de una sola imagen: movimiento corporal, expresiones faciales e iluminación de la escena incluidos.
El problema de la animación de personajes
Diseñaste una mascota de marca. Ahora quieres que baile en un vídeo de producto. Hasta hace poco, eso significaba coser extracción de esqueleto, detección de rostros, transferencia de movimiento y un modelo de renderizado aparte, cada uno un punto de fallo potencial, todos ellos caros de ejecutar en GPUs en la nube.
¿Qué es Wan 2.2 Animate?
Wan 2.2 Animate es un modelo de código abierto de 14 mil millones de parámetros de Wan-AI (Alibaba Group). Le das un vídeo de una persona realizando una acción más una imagen de referencia de tu personaje objetivo. Genera un nuevo vídeo donde el personaje replica los movimientos y expresiones del intérprete.
Tres decisiones técnicas hacen posible esto.
Las señales de esqueleto alineadas espacialmente dirigen el movimiento corporal. El modelo extrae un esqueleto de pose del vídeo fuente y lo proyecta sobre el personaje, conservando postura y marcha fotograma a fotograma.
La transferencia de expresión funciona de otra manera. En lugar de rastrear puntos faciales individuales, el modelo aprende representaciones comprimidas del rostro fuente y las proyecta sobre el objetivo, incluso cuando los dos no se parecen en nada, por ejemplo una fotografía proyectada sobre un personaje anime.
La tercera pieza es un módulo Relighting LoRA que ajusta el sombreado del personaje para que coincida con la escena. Sin él, los personajes sustituidos parecen compuestos. Con él, las sombras y la temperatura de color siguen el entorno original.
Juntos, estos componentes se ejecutan en una sola pasada hacia delante. Una llamada de inferencia produce el vídeo final.
Qué puedes construir con él
Contenido de marca animado sin equipo de rodaje. Graba un clip de 5 segundos de alguien saludando o señalando un producto. Combínalo con tu mascota como imagen de referencia y el personaje realiza esa acción exacta, listo para redes sociales o páginas de producto. Los estudios que antes reservaban sesiones de captura de movimiento ahora pueden prototipar desde un vídeo de móvil y un PNG.
Probador virtual para comercio electrónico. Graba a un modelo caminando con un atuendo neutral, luego intercámbialo por distintos avatares virtuales para cada línea de producto. El movimiento se mantiene idéntico entre variantes mientras cambia el personaje, lo que mantiene la presentación consistente sin tener que volver a grabar.