LTX-2.3-Leitfaden zur Videogenerierung

Die meisten KI-Videomodelle nehmen einen Text-Prompt und raten, welche Bewegung richtig aussieht. LTX-2.3 hört zu. Lightricks' 22-Milliarden-Parameter-DiT-Modell akzeptiert Audiodaten zusammen mit einem Text-Prompt und generiert Video, das zur Wellenform synchronisiert ist. Die Lippen eines Charakters passen zu den gesprochenen Worten bis auf einzelne Phoneme, während die Arme eines Schlagzeugers auf jeden Snare-Treff landen, den das Audio enthält.

Über FilmoTvor.AI läuft LTX-2.3 in drei Modi: Text-zu-Video, Bild-zu-Video und Audio-zu-Video. Dieser Guide führt durch Prompt-Struktur und technische Parameter in allen dreien, mit sechs ausgearbeiteten Beispielen und Code, den du heute ausführen kannst.

Drei Wege, Video zu generieren

Jeder Modus nimmt eine andere Eingabe und löst ein anderes Problem.

Alle drei teilen sich die Kernparameter: 24 fps fix, 2-10 Sekunden Output (49-241 Frames), Auflösungen bis 1024×1024.

So schreibst du Prompts für LTX-2.3

LTX-2.3 reagiert am besten auf Prompts, die als einzelner, fließender Absatz im Präsens geschrieben sind. Betrachte es wie das Schreiben einer Shot-Beschreibung für einen Kameramann – schließe Motiv, Umgebung, Aktion, Kameraverhalten, Beleuchtung und Stil ein, aber verweb sie natürlich miteinander, anstatt sie in beschriftete Abschnitte zu trennen.

Strebe an, diese Elemente in jedem Prompt abzudecken: den Shot-Typ und die Kameraposition, die Szene und Beleuchtung, die Kernaktion als natürliche Sequenz, Charakterdetails ausgedrückt durch physische Hinweise, Kamerabewegung und jede Audiobeschreibung.

Schreibe in natürlicher Prosa, nicht als Keyword-Liste. „Eine 35-jährige Frau mit dunklem Haar spricht in einem modernen Büro in die Kamera" funktioniert besser als „Frau, dunkles Haar, Büro, sprechend, 35J." Das Modell parst Sätze wie ein Sprachmodell – die Wortreihenfolge setzt Prioritäten, also führe mit dem wichtigsten visuellen Element und sei spezifisch bei physischen Details.

Ziel-Prompt-Länge: 60-200 Wörter. Unter 60 tendiert der Output zu generischer Bewegung, während Prompts näher an 200 dem Modell genug Details geben, um über Clips von über 5 Sekunden kohärent zu bleiben.

Zwei Regeln, die in allen Modi gelten:

• Beschreibe Mikrobewegungen explizit. Ohne Anweisungen wie „dezente Kopfnicker" oder „natürliche Blinzelungen" neigen Gesichter dazu, in einem Schaufensterstarren einzufrieren. Das Modell generiert Bewegung, um die du bittest – Stille im Prompt bedeutet Stillstand im Video.

• Passe die Kamerabewegung an den Inhalt an. Statische oder langsame Dolly-Shots funktionieren am besten für Dialoge und Nahaufnahmen. Hebe dynamische Kameraarbeit für weite Establishing-Shots und Performances auf, bei denen das Gesicht nicht im Fokus steht.

Text-zu-Video: Prompts und Beispiele

Text-zu-Video generiert eine Szene vollständig aus deiner Beschreibung. Das Modell baut alles aus dem Prompt auf – Erscheinungsbild und Bewegung gleichermaßen –, was es zur richtigen Wahl für Establishing-Shots und atmosphärische Szenen macht, bei denen kreative Kontrolle wichtiger ist als visuelle Konsistenz.

Beispiel 1: Cineastischer Establishing-Shot

Prompt:

Eine Weitwinkelaufnahme einer neonbeleuchteten Tokioter Gasse bei Nacht im Regen. Dutzende leuchtende Schilder mit japanischen Kanji spiegeln sich auf nassem Asphalt in Streifen aus Pink, Blau und Orange. Dampf steigt von Imbissständen auf beiden Seiten auf, warmes gelbes Licht verschüttet über den Gehweg. Die Kamera gleitet langsam die leere Gasse entlang vorwärts, Neon-Schilder gleiten auf beiden Seiten vorbei, Pfützen fangen die Farben ein, während sich der Winkel ändert. Regen schneit durch das Leuchten jedes Schildes. Das Audio ist starker Regen auf Asphalt, ein tiefes elektrisches Summen vom Neon und entfernter Stadtverkehr. 35mm anamorph, Kodak Vision3 500T, starke Körnung, geringe Schärfentiefe.

Warum es funktioniert: Eine Bewegung, eine Richtung – die Kamera gleitet vorwärts und alles andere folgt daraus. Keine Charaktere zu animieren, keine Aktionswechsel mitten im Clip. Die Neon-Spiegelungen auf nassem Asphalt geben dem Modell konkrete Lichtwechselwirkungen auf jeder Oberfläche, und der Parallax von vorbeigleitenden Schildern verkauft die Vorwärtsbewegung. Einen spezifischen Film-Stock zu nennen steuert das Color Grading präziser als Adjektive wie „cineastisch" oder „moody".

Beispiel 2: Zweipersonen-Dialogszene

Prompt:

Ein gemütliches europäisches Café an einem regnerischen Nachmittag, gesehen von hinten durch eine 30-jährige Frau in einem rostfarbenen Pullover. Sie sitzt an einem tischseitigen Fensterplatz einem 40-jährigen Mann in einem Marineblazer gegenüber, der sich über seine Kaffeetasse beugt. Dampf steigt zwischen ihnen auf, und Regen rieselt die Scheibe dahinter herab. Der Mann gestikuliert mit der rechten Hand: „Also sagte ich ihm – so funktioniert das alles nicht." Er pausiert, schüttelt den Kopf. Die Frau lehnt sich zurück, verschränkte Arme, ein Schmunzeln formt sich. „Und er hat dir geglaubt?" Der Mann atmet aus, schaut auf seine Tasse. „Das ist ja das Ding. Hat er nicht." Sie lacht leise und greift nach ihrem Kaffee. Die Kamera fährt über die Clipdauer sanft an auf einem 35mm-Objektiv vor. Weiches bedecktes Tageslicht vom Fenster dient als Schlüssellicht, eine warme Pendelleuchte darüber fügt orangerotes Fülllicht hinzu. Das Audio sind ihre Stimmen mit Café-Ambient – klirrende Tassen, gedämpfte Konversation, Regen gegen Glas. 35mm-Filmkörnung, gedämpfte entsättigte Palette, geringe Schärfentiefe.

Warum es funktioniert: Der Dialog ist in kurze Phrasen mit physischem Spiel dazwischen zerlegt – eine Geste, eine Pause, ein Kopfschütteln. Das gibt LTX-2.3 eine Takt-für-Takt-Zeitleiste statt einer vagen Anweisung zu „sprechen". Klare Rollen zuzuweisen (er spricht, sie hört zu und reagiert) verhindert, dass das Modell verwechselt, wer was tut. Die Over-the-Shoulder-Framing hält beide Gesichter sichtbar, ohne ein komplexes Layout zu verlangen. Eine Audiobeschreibung für das Café-Ambient zu ergänzen, verankert die Szene in einem spezifischen akustischen Raum.

Bild-zu-Video: Standbilder animieren

Bild-zu-Video nimmt ein Referenzbild als ersten Frame und generiert von dort aus Bewegung. Der Prompt beschreibt, was als Nächstes passiert – das Bild übernimmt Identität und Komposition, also konzentrierst du dich vollständig auf Aktion und Kamera.

Greife zu diesem Modus, wenn du bereits einen spezifischen Charakter oder eine Produktaufnahme hast, die Bewegung braucht. Das Modell bewahrt Gesicht, Garderobe und Farbpalette der Referenz über jede Generierung hinweg.

Zwei praktische Hinweise: Das Feld first_frame_image akzeptiert JPG, PNG, GIF, BMP oder WebP bis zu 10 MB. Du kannst optional auch ein last_frame_image fixieren, obwohl für die meisten Anwendungsfälle das Modell das Ende entscheiden zu lassen, natürlichere Bewegung erzeugt.

Beispiel 3: Zum Leben erwecktes Porträt

Prompt:

Die Frau aus dem Referenzbild dreht ihren Kopf langsam vom Dreiviertelprofil, um die Kamera direkt anzublicken. Während sie sich dreht, öffnen sich ihre Lippen zu einem warmen Lächeln, und eine Haarsträhne fällt über ihre Stirn. Sie greift hoch und steckt sie hinter ihr Ohr, dann hält sie den Blick der Kamera mit stetigen, unbeirrbaren Augen. Die Kamera bleibt auf Augenhöhe in einer Halbnahen auf einem 50mm-Objektiv fixiert, sanfte Handkamerabewegung. Weiche Schatten verschieben sich über ihre Wangenknochen, während sie sich bewegt, die Beleuchtung aus dem Referenzbild bleibt durchgehend erhalten. Das Audio ist ein ruhiger Raum – weiches Stoffrascheln, während sie sich bewegt, schwaches Atmen, sanftes ambientes Summen. 35mm-Filmkörnung, geringe Schärfentiefe, warmes natürliches Color Grading.

Eingabebild

Warum es funktioniert: Die Bewegung liest sich als Sequenz, der das Modell Takt für Takt folgen kann – drehen, lächeln, Haar wegstecken, Augenkontakt. Jede Aktion löst die nächste aus. Das fallende Haar und der Schattenwechsel zu beschreiben gibt dem Modell physische Konsequenzen der Kopfdrehung zu rendern, statt sich auf eine vage „Ausdrucksänderung" zu verlassen. Die Anweisung, die Referenzbeleuchtung zu bewahren, verhindert, dass das Modell mitten im Clip ein neues Color Grading erfindet.

Beispiel 4: Zum Leben erweckte Landschaft

Prompt:

Wind rollt durch das hohe Gras im Vordergrund und biegt die Halme in langsamen Wellen von links nach rechts. Wolken treiben über die Bergkette im Hintergrund, ihre Schatten kriechen über das grüne Tal darunter. Ein Schwarm Vögel hebt von der Baumlinie rechts ab und zerstreut sich über den Himmel. Die Kamera fährt langsam auf die Berge zu, das Gras im Vordergrund rutscht aus dem Fokus, während die fernen Gipfel schärfer werden. Sonnenlicht der Goldenen Stunde von links fängt die Spitzen des Grases und die Ränder der Wolken ein. Das Audio ist stetiger Wind durch Gras, ferner Vogelgesang und das leise Rauschen eines Flusses irgendwo unterhalb des Bildrands. 35mm, geringe Schärfentiefe, die mit dem Vorwärtsschub wandert, warmes natürliches Color Grading.

Eingabebild

Warum es funktioniert: Landschaften sind einer der stärksten Anwendungsfälle für Bild-zu-Video, weil das Modell nur organische Bewegung zu einem bereits komponierten Frame hinzufügen muss. Wind durch Gras, treibende Wolken und fliegende Vögel sind alles Bewegungen, die das Modell zuverlässig verarbeitet – keine komplexe Geometrie oder präzise Physik erforderlich. Der langsame Vorwärtsschub mit wandernder Schärfentiefe gibt dem Clip eine cineastische Progression, anstatt wie eine endlos animierte Wallpaper zu wirken. Die Windrichtung (links nach rechts) und die Wolken-Schattenbewegung zu beschreiben, gibt dem Modell konsistente Bewegungsvektoren über den gesamten Frame.

Audio-zu-Video: Bewegung mit Sound synchronisieren

Das Modell übernimmt das Timing automatisch. Dein Prompt steuert den Performance-Stil: das Mapping spezifischer Körperteile zu spezifischen Sounds und die Beschreibung der Mikroexpressionen, die den Raum zwischen den Phrasen füllen.

Audio-Anforderungen

Richte deine Frame-Anzahl auf die Audiodauer aus: frames = round_to_8n+1(audio_seconds × 24). Ein 5-Sekunden-Sprachclip braucht ~121 Frames. Ein 10-Sekunden-Musiktitel braucht 241.

Beispiel 5: Lip-Sync-Sprechporträt

Prompt:

Eine 35-jährige Frau mit langem dunklem Haar und warmen braunen Augen, leichtes natürliches Makeup, trägt eine cremefarbene Seidenbluse, sitzt an einem Schreibtisch in einem modernen Home-Office. Weiche verschwommene Bücherregale füllen den Hintergrund, und eine warme Schreibtischlampe rechts wirft spätnachmittägliches Licht über ihr Gesicht. Sie spricht direkt in die Kamera, ihr Kopf neigt sich leicht bei Kernpunkten, Augenbrauen heben sich zur Betonung, kurze Lächeln bilden sich zwischen Phrasen. Ihre Augen halten das Objektiv, dann gleiten sie nach unten, als würde sie einen Gedanken sammeln, dann kehren sie zurück. Ihre Hände steigen gelegentlich in offenen Handflächengesten unter ihrem Kinn auf. Die Kamera fasst sie in einer Halbnahen auf Augenhöhe auf einem 50mm-Objektiv mit sanfter Handkamerabewegung. Warmes Fensterlicht von oben links, orangerotes Fülllicht von der Schreibtischlampe rechts, weiches Kantenlicht trennt sie vom Hintergrund. Das Audio ist ihre klare, stetige Stimme mit schwachem Raumton und dem leisen Ticken einer Uhr. Dokumentar-Interview-Feel, 35mm-Filmkörnung, warmes Color Grading.

Audio-Eingabe

Warum es funktioniert: Die Lip-Sync-Genauigkeit hängt von zwei Dingen ab: Audioqualität und Prompt-Detail. Das Modell ordnet Phoneme automatisch Mundformen zu, aber alles um den Mund herum – Kopfnicken, Augenbrauenheben, Blickrichtung – stammt aus dem Prompt. Ohne diese Mikrobewegungs-Anweisungen rendert das Gesicht als stumme Maske mit einem sich bewegenden Mund. Die Halbnahen-Framing macht den Lip-Sync lesbar, und die statische Kamera verhindert, dass Bewegungsunschärfe die Artikulation verschleiert.

Bild und Audio kombinieren

Generiere drei Text-zu-Video-Clips von „einer 30-jährigen Frau, die spricht", und du bekommst drei verschiedene Frauen. Audio-zu-Video allein hat dasselbe Problem. Aber fixiere das Gesicht mit einem Referenzbild und das Timing mit Audio, und jeder Clip zeigt dieselbe Person, die denselben Performance-Stil liefert. Das Bild übernimmt die Identität, das Audio die Synchronisation – dein Prompt muss nur beschreiben, wie sie performt.

Der Charakter aus dem Referenzbild spricht in die Kamera, die Augen halten den Betrachter mit warmem Kontakt, dann schauen sie zwischen Phrasen leicht von der Kamera weg nach rechts, als säße jemand in der Nähe. Ihre Augenbrauen heben sich bei Schlüsselwörtern, ein echtes Lächeln bildet sich bei leichteren Momenten, und ihre Hände kommen gelegentlich im offenen Konversationsgestus ins Bild. Zwischen Sätzen pausiert sie, blickt kurz nach unten und kehrt dann mit erneuter Fokussierung zum Betrachter zurück. Die Kamera fasst sie in einer Halbnahen und fährt über die Clipdauer sanft vor, mit unmerklicher Handkamerabewegung. Die Beleuchtung aus dem Referenzbild wird durchgehend bewahrt. Das Audio ist ihre warme, artikulierte Stimme mit weichem Raumambient. Cineastischer Dokumentar, 35mm, geringe Schärfentiefe, natürliches Color Grading.

Das Bild definiert bereits wer und wo. Lenke dein gesamtes Prompt-Budget darauf, zu beschreiben, wie der Charakter auf das Audio reagiert.

Auflösungs- und Framing-Referenz

LTX-2.3 unterstützt Auflösungen von 512×512 bis 1024×1024. Die Wahl des richtigen Seitenverhältnisses zählt – ein Talking Head in 1:1 verschwendet die Hälfte des Frames mit leerem Raum, während ein Landschafts-Establishing-Shot in 9:16 die Szenerie herausschneidet, die du zeigen willst.

Für Audio-zu-Video passe deine Frame-Anzahl an die Audiodauer an. Die Formel: frames = round_to_8n+1(audio_seconds × 24). Hier die häufigsten Werte:

Eine Diskrepanz zwischen Audiolänge und Frame-Anzahl führt dazu, dass das Modell entweder das Audio trimmt oder stumme Frames am Ende generiert. Keines davon willst du.

Häufige Fehler und wie du sie behebst

„Schaufenstergesicht" bei Audio-zu-Video. Das Modell synchronisiert die Lippen automatisch, aber der Rest des Gesichts bleibt eingefroren, wenn du keine Mikroexpressionen im Prompt beschreibst. Füge „dezente Kopfnicker", „Augenbrauenheben bei Betonung" und „natürliche Blinzelungen zwischen Phrasen" hinzu. Allein diese drei Phrasen sind der Unterschied zwischen einem roboterhaften Talking Head und einem Gesicht, das lebendig wirkt.

Lip-Sync um ~100ms versetzt. Fast immer durch eine Frames/Audio-Diskrepanz verursacht. Rechne mit der Formel oben nach und überprüfe, dass dein Audio exakt so lang ist, wie du denkst. Wenn der Versatz bestehen bleibt, versuche, 100ms Stille an den Anfang deiner Audiodatei anzuhängen.

Kamera zu schnell für Dialoge. Schnelle Schwenks und Peitschenbewegungen verwischen das Gesicht und machen den Lip-Sync unlesbar. Für jede Szene, in der Mundartikulation zählt, halte die Kamera statisch oder nutze einen langsamen Dolly-in. Hebe dynamische Kameraarbeit für weite Shots und musikalische Performances auf.

10-Sekunden-Clips verlieren Charakter-Identität. Bei maximaler Dauer (241 Frames) muss das Modell Konsistenz über viele generierte Inhalte hinweg aufrechterhalten. Audio verankert die Zeitleiste und halbiert den Drift – selbst ein mittelmäßiger Text-zu-Video-Prompt produziert kohärentere lange Clips im Audio-zu-Video-Modus als ohne Audio.

Prompt-Phrasen, die funktionieren

Eine Kurzreferenz-Spickzettel für Audio-zu-Video-Prompts. Kopiere, was zu deiner Szene passt.

Lip-Sync (Sprache):

• Lippenbewegungen perfekt synchron zu jedem Phonem

• natürliches Konversationstempo, nicht theatralisch

• weiche geschlossene Lippen-Pausen zwischen Phrasen

Mikroexpressionen:

• dezente Augenbrauenheben bei Schlüsselwörtern

• kleine Lächeln, die sich bei warmen Momenten bilden

• kaum wahrnehmbares Nicken, das eigenen Aussagen zustimmt

Augenkontakt:

• weicher engagierter Augenkontakt mit dem Betrachter

• Augen, die gelegentlich leicht von der Kamera abdriften, als würde nachgedacht

• intermittierender Augenkontakt, zwischen Phrasen nachdenklich nach unten schauend

Beat-Sync (Musik):

• Kopfnicken auf Downbeats

• Schulterheben bei jedem Snare-Treff

• Fußtippen auf der Kick-Drum

• Körper, der mit dem Rhythmus schwingt

Reaktionen auf Soundeffekte:

• Zusammenzucken bei lauten Einschlag-Sounds

• Kopf schnellt in Richtung unerwarteten Sounds

• Augen weiten sich bei dramatischem Soundeffekt