Eigent erstellt ein 3D-Kampfkunstspiel aus Video

Von Aufnahmen zum spielbaren Spiel — ohne eine Zeile Code zu schreiben

Was wäre, wenn du auf ein beliebiges Video zeigen und sagen könntest: „Mach daraus ein Spiel“? Genau das macht dieser Workflow. Eigent's Multi-Modal Agent schaut sich Aufnahmen der Spring Festival Gala 2026 an — eine spektakuläre Robotik-Kampfkunstperformance — extrahiert die Charaktere, Bewegungen und den visuellen Stil und übergibt diese strukturierte Analyse dann an einen Developer Agent, der darauf aufbauend ein komplettes Three.js-Spiel erstellt. Die gesamte Pipeline läuft mit einem Prompt und einer Videodatei.

1Die Zwei-Agenten-Pipeline

Dieser Workflow erfordert zwei spezialisierte Agenten, die nacheinander arbeiten:

• Multi-Modal Agent — übernimmt Bildanalyse (Image Analysis), Videoverarbeitung (Video Processing), Audioverarbeitung (Audio Processing) und Bilderzeugung (Image Generation). Er sieht sich das Video an und erstellt strukturierte Daten darüber, was er erkennt.
• Developer Agent — übernimmt Terminal & Shell, Webbereitstellung (Web Deployment) und Bildschirmaufnahme (Screen Capture). Er nimmt die strukturierte Analyse und baut daraus das Spiel.

Der entscheidende Punkt ist die Übergabe: Der Developer Agent erhält nicht das Rohvideo — er erhält ein strukturiertes Textdokument, das Charaktere, Bewegungen, Farben, Umgebung und Themen beschreibt. Dieser Übersetzungsschritt sorgt dafür, dass das Spielergebnis präzise statt generisch wird.

2Video anhängen und den Prompt schreiben

Hänge Martial Arts.mp4 an und beschreibe, was du möchtest:

Sofort werden zwei Aufgaben erzeugt — die zweite bleibt blockiert, bis die erste abgeschlossen ist.

3Aufgabe 1 — Multi-Modal Agent beobachtet das Video

Der Multi-Modal Agent verarbeitet Martial Arts.mp4 Bild für Bild mithilfe des Video Downloader Toolkit, um Screenshots aus den Schlüsselmomenten zu extrahieren. Anschließend analysiert er diese Bilder und erstellt eine umfassende schriftliche Analyse, gespeichert als martial_arts_video_analysis.txt:

• Charaktere und Roboter: physisches Erscheinungsbild, Proportionen, Farbschema (Gold und Rot), Anzahl der Performer
• Bewegungen und Aktionen: beobachtete spezifische Kampfkunsttechniken — Schläge, Tritte, Stockangriffe, choreografierte Sequenzen
• Visueller Stil: Bühnenbeleuchtung, Farbpalette, Stil der festlichen Dekoration, Tiefe und Größe des Aufführungsraums
• Umgebung und Hintergrund: Bühnenumgebung, Hintergrunddesign, atmosphärische Elemente
• Festliche Elemente: CNY-spezifische Dekorationen, symbolische Motive, in der Performance verwendete Effekte

Dieses Dokument wird zum kreativen Briefing — einer strukturierten Beschreibung, die der Developer Agent präzise umsetzen kann.

4Aufgabe 2 — Developer Agent baut das Spiel

Mit der Analyse in der Hand liest der Developer Agent die Notizen aus dem Note Taking Toolkit und erstellt spring_festival_martial_arts_game.html — eine einzelne, in sich geschlossene Datei mit allem HTML, CSS und JavaScript inline.

Das Spiel implementiert originalgetreu alles, was der Multi-Modal Agent erkannt hat:

• 3D-Robotercharaktere in Three.js gerendert, mit dem Gold-/Rot-Farbschema aus dem Video
• Kampfkunst-Animationen, die die beobachteten Schläge, Tritte und Stockangriffe nachbilden
• Bühnenumgebung, die dem visuellen Setting der Spring Festival Gala-Performance entspricht
• Festliche Partikeleffekte — Laternen, Funken, CNY-Dekorationen
• Mehrere Spielmodi: Performance Mode, Combat Mode, Free Practice

5Das fertige Spiel

Das Öffnen von spring_festival_martial_arts_game.html in einem Browser liefert ein vollständiges Erlebnis:

• Startbildschirm: 2026 Spring Festival Gala — Martial Arts Performance — Year of the Horse
• Steuerung: W/S/A/D Bewegung · J Schlag/Angriff · K Tritt · L Stockangriff · Leertaste Spezialbewegung · Maus für Kamera · Scrollen zum Zoomen
• HUD: Punktestand (527 in der Demo angezeigt), Kombinationszähler, Modusanzeige
• Visuals: 3D-Robotercharaktere in Gold/Rot, festlicher Bühnenhintergrund, Partikeleffekte

Verwendete Gesamttokens: ungefähr 467.000 — ein Ausdruck der Tiefe der Videoanalyse und der kombinierten Three.js-Spielgenerierung.

6Warum Video-zu-Spiel eine neue Workflow-Kategorie ist

Diese Pipeline etabliert etwas Neues: die Nutzung von Videoverständnis als Werkzeug für eine Designspezifikation. Statt ein Game-Design-Dokument zu schreiben, nimmst du eine Aufnahme oder findest Footage der Ästhetik, Charaktere und Interaktionen, die du möchtest — und lässt den Multi-Modal Agent das in umsetzbare Spezifikationen übersetzen.

Die Anwendungen gehen weit über Spiele hinaus. Dieselbe Pipeline von Video zu strukturierter Analyse zu Code funktioniert für die Rekonstruktion von UI-Mockups, das Design von Animationssystemen, die Generierung interaktiver Demos und jeden Kontext, in dem Video Intention besser erfasst als Text.

7Was du als Nächstes ausprobieren kannst

8Tipps für bessere Ergebnisse

• Verwende hochwertiges Quellmaterial. Die Szenenextraktion des Multi-Modal Agenten ist bei klarem, gut beleuchtetem Video am genauesten. Performance-Aufnahmen mit klar unterscheidbaren Charakteren und Bewegungen — wie dieses Gala-Video — liefern reichhaltigere Analysen als schnell geschnittene oder niedrig aufgelöste Inhalte.

• Bitte darum, die Analyse vor dem Erstellen zu prüfen. Wenn du „zeige mir das Video-Analysetextdokument, bevor du das Spiel erstellst“ hinzufügst, erhältst du einen Kontrollpunkt, um zu prüfen, ob der Agent das Video korrekt verstanden hat, bevor er mit dem Build fortfährt.

• Fordere eine einzelne Datei an. Die Angabe „einseitiges interaktives 3D-HTML-Spiel“ stellt sicher, dass alles in sich geschlossen und sofort teilbar ist, ohne Build-Schritt oder Server.