Sostituisci una persona in qualunque video con un personaggio da una singola immagine – movimento del corpo, espressioni facciali e illuminazione della scena inclusi.
Il problema dell'animazione dei personaggi
Hai disegnato una mascotte di brand. Ora vuoi che balli in un video di prodotto. Fino a poco tempo fa, ciò significava assemblare estrazione dello scheletro, rilevamento del volto, transfer del movimento e un modello di rendering separato – ciascuno un potenziale punto di fallimento, tutti costosi da eseguire su GPU cloud.
Cos'è Wan 2.2 Animate?
Wan 2.2 Animate è un modello open-source da 14 miliardi di parametri di Wan-AI (Alibaba Group). Lo alimenti con un video di una persona che esegue un'azione più un'immagine di riferimento del tuo personaggio target. Genera un nuovo video in cui il personaggio replica i movimenti e le espressioni dell'esecutore.
Tre decisioni tecniche rendono possibile tutto ciò.
Segnali di scheletro spazialmente allineati guidano il movimento del corpo. Il modello estrae uno scheletro di posa dal video sorgente e lo mappa sul personaggio, preservando postura e andatura frame per frame.
Il transfer delle espressioni funziona diversamente. Invece di tracciare singoli landmark facciali, il modello apprende rappresentazioni compresse del volto sorgente e le proietta sul target – anche quando i due non si somigliano per niente, ad esempio una fotografia mappata su un personaggio anime.
Il terzo elemento è un modulo Relighting LoRA che adatta l'ombreggiatura del personaggio alla scena. Senza di esso, i personaggi sostituiti sembrano composti. Con esso, ombre e temperatura del colore seguono l'ambiente originale.
Insieme, questi componenti girano in un singolo passaggio forward. Una chiamata di inferenza produce il video finale.
Cosa puoi costruire
Contenuti di brand animati senza una troupe cinematografica. Registra una clip di 5 secondi di qualcuno che saluta o indica un prodotto. Combinala con la tua mascotte come immagine di riferimento, e il personaggio esegue quell'esatta azione – pronto per i social media o le pagine di prodotto. Gli studi che in passato prenotavano sessioni di motion capture possono ora fare prototipi da un video telefonico e un PNG.
Virtual try-on per l'e-commerce. Riprendi un modello che cammina con un outfit neutro, poi scambia in diversi avatar virtuali per ogni linea di prodotto. Il movimento resta identico tra le varianti mentre il personaggio cambia, il che mantiene la presentazione coerente senza riprese aggiuntive.