Ersetze eine Person in jedem Video durch einen Charakter aus einem einzigen Bild – inklusive Körperbewegung, Mimik und Szenen-Beleuchtung.
Das Problem mit Charakter-Animation
Du hast ein Marken-Maskottchen entworfen. Jetzt möchtest du es in einem Produktvideo tanzen lassen. Bis vor Kurzem bedeutete das, Skelett-Extraktion, Gesichtserkennung, Motion Transfer und ein separates Rendering-Modell zusammenzufügen – jeder davon ein potenzieller Fehlerpunkt, alle teuer im Betrieb auf Cloud-GPUs.
Was ist Wan 2.2 Animate?
Wan 2.2 Animate ist ein quelloffenes Modell mit 14 Milliarden Parametern von Wan-AI (Alibaba Group). Du gibst ihm ein Video einer Person, die eine Aktion ausführt, plus ein Referenzbild deines Zielcharakters. Es generiert ein neues Video, in dem der Charakter die Bewegungen und Ausdrücke des Darstellers reproduziert.
Drei technische Entscheidungen machen das möglich.
Räumlich ausgerichtete Skelett-Signale steuern die Körperbewegung. Das Modell extrahiert ein Posen-Skelett aus dem Quellvideo und projiziert es auf den Charakter, wobei Haltung und Gang Bild für Bild erhalten bleiben.
Der Expression Transfer funktioniert anders. Anstatt einzelne Gesichts-Landmarks zu tracken, lernt das Modell komprimierte Repräsentationen des Quellgesichts und projiziert sie auf das Ziel – selbst wenn die beiden überhaupt nicht ähnlich sehen, etwa ein Foto, das auf einen Anime-Charakter abgebildet wird.
Das dritte Bauteil ist ein Relighting-LoRA-Modul, das die Schattierung des Charakters an die Szene anpasst. Ohne es wirken ersetzte Charaktere wie aufmontiert. Mit ihm folgen Schatten und Farbtemperatur der ursprünglichen Umgebung.
Zusammen laufen diese Komponenten in einem einzigen Forward-Pass. Ein Inference-Aufruf erzeugt das fertige Video.
Was du damit bauen kannst
Animierte Markeninhalte ohne Filmcrew. Nimm einen 5-Sekunden-Clip auf, in dem jemand winkt oder auf ein Produkt zeigt. Kombiniere ihn mit deinem Maskottchen als Referenzbild, und der Charakter führt genau diese Aktion aus – bereit für Social Media oder Produktseiten. Studios, die früher Motion-Capture-Termine buchten, können jetzt aus einem Handy-Video und einem PNG prototypen.
Virtuelle Anprobe für E-Commerce. Filme ein Model, das in einem neutralen Outfit läuft, und tausche dann für jede Produktlinie verschiedene virtuelle Avatare ein. Die Bewegung bleibt über alle Varianten identisch, während sich der Charakter ändert, was die Präsentation konsistent hält, ohne neu zu drehen.