Nahraďte v akomkoľvek videu osobu postavou z jedného obrázku – vrátane pohybu tela, mimiky a osvetlenia scény.
Problém s animáciou postáv
Navrhli ste firemného maskota. Teraz chcete, aby tancoval vo výrobkovom videu. Donedávna to znamenalo spájať extrakciu kostry, detekciu tváre, prenos pohybu a samostatný renderovací model – pričom každý z nich je potenciálnym miestom zlyhania a všetky sú drahé na prevádzku v cloudových GPU.
Čo je Wan 2.2 Animate?
Wan 2.2 Animate je open-source model s 14 miliardami parametrov od Wan-AI (Alibaba Group). Dodáte mu video osoby vykonávajúcej akciu plus referenčný obrázok vašej cieľovej postavy. Vygeneruje nové video, v ktorom postava replikuje pohyby a výrazy účinkujúceho.
Tri technické rozhodnutia to umožňujú.
Priestorovo zarovnané signály kostry riadia pohyb tela. Model zo zdrojového videa extrahuje kostru pózy a namapuje ju na postavu, čím zachováva držanie tela a chôdzu snímok po snímku.
Prenos výrazu funguje inak. Namiesto sledovania jednotlivých orientačných bodov tváre sa model učí komprimované reprezentácie zdrojovej tváre a premieta ich na cieľ – aj keď sa tieto dve vôbec nepodobajú, povedzme fotografiu namapovanú na anime postavu.
Tretím prvkom je modul Relighting LoRA, ktorý prispôsobuje tieňovanie postavy tak, aby ladilo so scénou. Bez neho vyzerajú nahradené postavy ako umelo vložené. S ním tiene a farebná teplota nasledujú pôvodné prostredie.
Tieto komponenty spolu bežia v jednom priechode vpred. Jedno volanie inferencie vyprodukuje finálne video.
Čo s tým môžete postaviť
Animovaný brandový obsah bez filmového štábu. Natočte 5-sekundový klip niekoho, ako máva alebo ukazuje na produkt. Skombinujte ho so svojím maskotom ako referenčným obrázkom a postava vykoná presne tú akciu – pripravené pre sociálne siete alebo produktové stránky. Štúdiá, ktoré si doteraz objednávali termíny na motion capture, teraz môžu prototypovať z videa z telefónu a jedného PNG.
Virtuálne vyskúšanie pre e-commerce. Natočte jednu modelku kráčajúcu v neutrálnom oblečení a potom pre každú produktovú líniu vymeňte za rôzne virtuálne avatary. Pohyb zostáva vo všetkých variantoch identický, kým sa mení postava, čo udržuje prezentáciu konzistentnú bez nutnosti prenatáčania.