一个模型通吃1000款游戏——从《我的世界》到《只狼》从2D平台跳跃到3D动作冒险 原文信息论文标题NitroGen: An Open Foundation Model for Generalist Gaming Agents作者团队Loïc Magne, Anas Awadalla, Guanzhi Wang, Yinzhen Xu, Joshua Belofsky, Fengyuan Hu, Joohwan Kim, Ludwig Schmidt, Georgia Gkioxari, Jan Kautz, Yisong Yue, Yejin Choi, Yuke Zhu, Linxi FanNVIDIA Research 多所高校联合团队发表会议CVPR 2026Oral Presentation论文地址OpenAccess CVPR | arXiv:2601.02427项目与代码NVIDIA Research官方已开源数据集、评估套件和模型权重荣誉CVPR 2026最佳论文提名Best Paper Finalist从超过4000篇接收论文中脱颖而出仅15篇获此殊荣一、这篇论文在做什么NitroGen是一个视觉-动作Vision-Action基础模型目标是打造一个能“打遍所有游戏”的通用游戏AI智能体。它的训练数据规模惊人40,000小时的游戏视频覆盖超过1,000款商业游戏包括RPG、平台跳跃、吃鸡、竞速、2D、3D等各类游戏一句话概括NitroGen让AI像人类一样“看”游戏画面就能直接操作——不需要为每个游戏单独训练一个模型通吃所有二、研究背景为什么通用游戏AI这么难2.1 传统方法的困境在NitroGen之前游戏AI主要走两条路方法代表问题规则驱动简单的游戏BOT只能应对预设场景泛化能力为0强化学习RLAlphaGo、OpenAI Five每个游戏需要从头训练计算成本极高模仿学习部分游戏AI依赖大量人工标注的专家数据难以规模化核心痛点没有一个模型能同时玩两款不同的游戏——更不用说1000款。2.2 为什么“通用游戏AI”是通往AGI的重要一步游戏是现实世界的简化模拟器。一款游戏包含了视觉理解识别场景、物体、敌人决策能力在复杂环境中做选择物理交互理解重力、碰撞、运动长期规划在开放世界游戏中探索、收集、战斗如果AI能“学会玩游戏”它实际上是在学习如何理解一个动态的、有规则的世界并做出实时决策——这正是通用人工智能AGI的核心能力。三、NitroGen的三大技术支柱NitroGen通过三个关键创新实现了跨游戏的通用能力 支柱一互联网规模的视频-动作数据集问题训练通用游戏AI需要海量的“游戏画面→操作”配对数据。但游戏操作键盘、鼠标、手柄输入通常不直接记录在视频中。NitroGen的方案从公开的游戏视频中自动提取玩家的操作。具体做法利用游戏视频中常见的手柄叠加层gamepad overlay来识别按键和摇杆输入实现了高精度的摇杆预测R²0.84和96%的按钮识别准确率最终构建了一个涵盖1000游戏的超大规模视频-动作数据集 支柱二多游戏基准测试环境问题如何公平地评估一个模型在“多游戏”上的表现NitroGen的方案构建了一个多游戏基准测试环境能够统一衡量模型在不同游戏之间的泛化能力。这意味着同一个模型可以在多款游戏上被自动评估不需要为每款游戏单独搭建评估框架 支柱三统一的视觉-动作模型问题不同游戏的操作空间不同有的用键盘有的用手柄有的只有几个按键模型如何统一处理NitroGen的方案设计了一个统一的视觉-动作模型架构通过大规模行为克隆Behavior Cloning进行训练。核心设计思路输入游戏画面像素输出通用的动作表示如手柄按键 摇杆位移训练方式监督学习——让模型学会“看到什么画面就输出什么操作”四、实验结果NitroGen到底有多强4.1 跨领域能力NitroGen在多个不同类型的游戏中都展现出了强大的能力游戏类型代表游戏NitroGen表现3D动作游戏战斗遭遇战能够应对复杂的战斗场景2D平台跳跃经典平台游戏高精度控制精准跳跃程序生成世界开放世界探索类能够进行探索和导航4.2 微调后的迁移学习效果NitroGen最令人兴奋的特性是预训练可以高效迁移到未见过的游戏。具体数据在未见过的游戏上进行微调后任务成功率相比从头训练的模型提升了高达52%这意味着NitroGen已经学到了通用的游戏“直觉”——理解游戏的基本规律面对新游戏时只需要少量微调就能快速适应这证明了大规模预训练的有效性五、NitroGen的技术意义与产业影响5.1 对AI研究的意义维度意义通用性首次证明一个模型可以在1000游戏上有效工作数据效率自动从互联网视频中提取训练数据无需人工标注迁移能力预训练效果显著微调后大幅提升新游戏表现开源价值数据集、评估套件、模型权重全部开源5.2 对游戏产业的潜在影响游戏测试自动化AI可以自动玩游戏、找Bug、测试平衡性NPC智能化游戏中的非玩家角色可以拥有更智能的行为个性化游戏体验AI可以学习玩家的风格提供定制化挑战游戏内容生成AI可以通过“玩游戏”来验证生成内容的质量英伟达高级研究员Jim Fan提到NitroGen借鉴了NVIDIA Isaac GR00T机器人基础模型的架构用于在虚拟环境中训练具身智能体。这意味着NitroGen不仅是一个“游戏AI”更是通往通用具身智能的重要一步——在虚拟世界中学会的技能未来可能迁移到真实机器人上六、论文信息速查项目详情论文标题NitroGen: An Open Foundation Model for Generalist Gaming Agents会议CVPR 2026 (Oral)荣誉Best Paper Finalist最佳论文提名论文链接CVPR OpenAccessarXiv[2601.02427] NitroGen: An Open Foundation Model for Generalist Gaming AgentsPDF下载直接下载补充材料下载项目与代码NVIDIA Research官方已开源引用格式Magne et al., NitroGen: An Open Foundation Model for Generalist Gaming Agents, CVPR 2026, pp. 21511-21521七、写在最后NitroGen的诞生标志着游戏AI从“专才”走向“通才”的关键一步。它不再是为某一款游戏定制的AI而是一个能够理解“游戏”这个概念的通用智能体。正如论文作者所说“我们正在朝着掌握不仅是真实世界物理、更是虚拟世界规则的通用具身智能体迈进。”对于AI研究者来说NitroGen提供了一个强大的开源基础模型和数据集对于游戏开发者来说它打开了自动化测试和智能化NPC的新可能性对于所有关注AGI进程的人来说它再次证明了一个趋势规模化的数据和模型正在让AI获得真正的通用能力。本文为CVPR 2026最佳论文提名论文NitroGen的精读笔记旨在帮助中文读者快速理解该工作的核心贡献与技术细节。 延伸阅读如果你对NitroGen感兴趣还可以关注NVIDIA Isaac GR00TNitroGen借鉴的机器人基础模型架构CVPR 2026最佳论文名单同期获得最佳论文提名的其他14篇工作通用具身智能Generalist Embodied AgentsNitroGen所属的更大研究方向
 获取与实战)
