从视频到可玩的游戏——无需写一行代码
如果你可以对着任何视频说“把这个做成一个游戏”,会怎样?这个工作流正是如此。Eigent 的多模态 Agent 会观看 2026 年春节联欢晚会的一段影像——一场精彩的机器人武术表演——提取角色、动作和视觉风格,然后把这份结构化分析交给 Developer Agent,由后者围绕这些内容构建一个完整的 Three.js 游戏。整个流程只需要一个提示词和一个视频文件。
双 Agent 流水线
这个工作流需要两个专门的 Agent 按顺序协作:
- Multi-Modal Agent —— 负责图像分析(Image Analysis)、视频处理(Video Processing)、音频处理(Audio Processing)和图像生成(Image Generation)。它会观看视频,并输出关于所见内容的结构化数据。
- Developer Agent —— 负责终端与 Shell、Web 部署和屏幕捕获。它接收结构化分析并据此构建游戏。
关键点在于交接:Developer Agent 接收到的不是原始视频,而是一份描述角色、动作、颜色、场景和主题的结构化文本。正是这一步转换,让生成的游戏更忠实,而不是千篇一律。
附加视频并写下提示词
附加 Martial Arts.mp4,并描述你的需求:
分析所附视频文件,理解 2026 年春节联欢晚会中机器人的表演、角色、动作、视觉风格和场景,然后使用 Three.js 创建一个完整的、单文件的 3D 交互式 HTML 游戏,忠实还原视频中的关键元素、角色和动作,并加入有趣的玩法机制、直观的控制和节日视觉效果。
系统会立即生成两个任务——第二个任务会在第一个完成前保持阻塞。
任务 1——Multi-Modal Agent 观看视频
Multi-Modal Agent 使用 Video Downloader Toolkit 按帧处理 Martial Arts.mp4,提取关键时刻的截图。随后,它分析这些画面,并生成一份详尽的文字分析,保存为 martial_arts_video_analysis.txt:
- 角色和机器人: 外观、比例、配色方案(金色和红色)、表演者数量
- 动作与行为: 观察到的具体武术招式——拳击、踢腿、棍术攻击、编排动作序列
- 视觉风格: 舞台灯光、色彩搭配、节日装饰风格、表演空间的深度与尺度
- 场景与背景: 舞台环境、背景设计、氛围元素
- 节日元素: 春节特定装饰、象征性图案、表演中使用的特效
这份文档就成了创意简报——一份 Developer Agent 可以精确执行的结构化描述。
任务 2——Developer Agent 构建游戏
拿到分析后,Developer Agent 会读取 Note Taking Toolkit 中的笔记,并构建 spring_festival_martial_arts_game.html——一个单一自包含文件,所有 HTML、CSS 和 JavaScript 都内联。
游戏会忠实实现 Multi-Modal Agent 识别出的所有内容:
- 3D 机器人角色 使用 Three.js 渲染,采用视频中的金色/红色配色方案
- 武术动画 还原观察到的拳击、踢腿和棍术攻击
- 舞台环境 与春节联欢晚会表演的视觉场景相匹配
- 节日粒子特效 —— 灯笼、火花、春节装饰
- 多种游戏模式: 表演模式、战斗模式、自由练习
完成的游戏
在浏览器中打开 spring_festival_martial_arts_game.html,即可获得完整体验:
- 标题界面: 2026 春节联欢晚会 — 武术表演 — 马年
- 控制: W/S/A/D 移动 · J 出拳/攻击 · K 踢腿 · L 棍术攻击 · 空格 特殊动作 · 鼠标 控制镜头 · 滚轮 缩放
- HUD: 分数计数器(演示中显示 527)、连击计数器、模式指示
- 视觉: 金色/红色 3D 机器人角色、节日舞台背景、粒子特效
总 token 使用量:约 467,000 —— 体现了视频分析与 Three.js 游戏生成的深度结合。
为什么“视频转游戏”是一种新的工作流类别
这一流水线开创了一种新方法:把视频理解当作设计规格工具使用。你不必编写游戏设计文档,而是录制或找到你想要的美学、角色和交互的影像——然后让 Multi-Modal Agent 将其翻译为可直接实现的规格说明。
它的应用远不止游戏。相同的“视频 → 结构化分析 → 代码”流水线也适用于 UI 原型复刻、动画系统设计、交互式 Demo 生成,以及任何“视频比文字更能表达意图”的场景。
接下来可以尝试什么
分析一个产品开箱视频,并生成一个交互式 3D 产品查看器,复刻视频中的物体。
观看一段烹饪视频,并生成一个交互式的分步食谱应用,匹配视频的视觉风格。
分析一段体育集锦,并生成一个基于该运动的小游戏。
在春晚游戏的基础上添加多人模式,让两名玩家分别操控表演中的不同机器人进行对战。
提升效果的小技巧
-
使用高质量源视频。 Multi-Modal Agent 的场景提取在清晰、光线充足的视频中最准确。像这段春晚视频这样角色和动作清晰的表演素材,比快速剪辑或低分辨率内容能产出更丰富的分析结果。
-
在构建前先要求查看分析。 添加“在创建游戏之前先向我展示视频分析文档”这类要求,可以为你提供一个检查点,确保 Agent 正确理解了视频,再进入正式构建。
-
要求单文件输出。 指定“单文件 3D 交互式 HTML 游戏”可以确保所有内容都是自包含的,便于立即分享,无需构建步骤或服务器。



