先问你一个问题。
如果你要教一个AI玩游戏,你会怎么教?大部分人的直觉是:找一堆人类玩游戏的录像,让AI看着学。这个思路对,但也不完全对。
腾讯和新加坡国立大学的一个研究团队发现了一个很现实的问题:人类玩游戏的录像再多,也覆盖不了游戏里所有可能出现的状态。你录一万小时《我的世界》视频,AI依然可能在第一万零一次遇到一个从没见过的地形组合时彻底懵掉。
这就是这篇论文的起点。他们管这个框架叫PLAYER-1,一个让AI通过"合成经验"学会打游戏的训练方法,而不是单纯靠看录像。
录像不够用,那缺的是什么
先说清楚现在的游戏AI是怎么训练的。
主流做法是收集大量游戏录像,记录玩家在什么画面下按了什么键,然后让模型学习这种画面到操作的映射关系。这套路子在计算机使用智能体领域已经验证过,
计算机使用智能体(CUA):能够像人一样看屏幕、用键盘鼠标操作电脑完成任务的AI系统。
但游戏和普通软件操作有本质区别。点个按钮、填个表单,画面相对静止,容错率高。游戏不一样,你在《艾尔登法环》里面对一个BOSS,画面每一帧都在剧烈变化,你的操作窗口可能只有零点几秒,错过了就是被秒杀。这种高强度的动态视觉反馈,恰恰是录像学习最薄弱的地方。
录像能教会AI"看到这个画面应该按W",但教不会AI"如果按了W之后情况和录像不一样怎么办"。这就好比你报了个驾校,教练把所有可能遇到的路况都录了像给你看,但你真正上路那天,前面突然窜出一只猫,录像里没这一段,你就只能凭感觉乱打方向盘了。
录像学习的天花板,本质上就是录像?covered的状态空间的天花板。你没见过的情况,AI也应付不来。
那怎么办?研究团队的答案是:既然真实游戏的状态空间太大,录不完,那就让AI自己在一个可控的环境里反复试错,用游戏本身给出的客观反馈(比如得分、是否完成任务)来告诉AI做得好不好。这种反馈叫做
可验证奖励(RLVR):指奖励信号可以通过程序化规则直接从游戏状态计算得出,不需要人工打分,也不需要训练一个额外的"评委模型"去猜测动作好坏。
这里有个关键的工程难题:你想让AI在真实商业游戏(比如《赛博朋克2077》)里反复试错,但这些游戏不是开源的,你没法在里面插入"奖励函数"去实时告诉AI分数变化。于是团队想了个办法:自己造环境。
扩展动作空间:教会AI"按住"和"组合键"
在讲造环境之前,有个更基础的问题得先解决:AI的"手"够不够灵活。
普通的计算机使用智能体,操作方式主要是点击屏幕上的某个坐标,或者输入文字。但游戏操控完全是另一套逻辑。你玩第一人称射击游戏,转动视角靠的是鼠标的相对位移,不是点击屏幕上某个绝对坐标;你想让角色持续奔跑,得一直按住W键,而不是点一下就完事;你想一边瞄准一边开枪,得同时控制鼠标移动和左键点击。
于是团队把动作空间扩展了三类。
第一类是相对指针运动,用归一化的位移量(Δx, Δy)来表示鼠标移动,而不是绝对坐标。这解决了游戏里"没有可见光标"时怎么转视角的问题。
第二类是持续输入,让按键和点击可以"保持住"一整个控制周期,而不是一次性的点按。
第三类是组合动作,允许一次控制步骤里同时执行多个按键和鼠标操作,比如按住W的同时按一下空格键完成跑跳。
这三类扩展听起来简单,但它解决的是一个很根本的矛盾:计算机使用场景的动作空间是为"点选"设计的,而游戏的动作空间是为"连续控制"设计的。
想象你本来只会用遥控器单点按键操作电视,现在突然要你去开一辆手动挡汽车。踩离合、挂挡、给油,这几个动作得同时协调完成,而不是一个接一个地点按。如果没有组合动作这个设计,AI就永远学不会"一边移动一边开枪"这种游戏里最基本的操作模式,它只能像机器人一样把动作拆成一串串孤立的单步指令,慢一拍,也笨一拍。
数据显示这个判断是对的。团队收集的6044条游戏录像里,经过标注后发现,38%是纯键盘操作,35.1%是键盘加鼠标的组合,而这些组合操作中,单步包含2个及以上输入的占到了63.4%。也就是说,真实玩家的操作里,组合动作才是常态,不是例外。
六千条录像:怎么把杂乱的操作数据变成AI能学的样子
光有动作空间定义还不够,得有示范数据让AI知道"什么时候该用什么动作"。
团队从公开数据集和自己录制的素材里,整理出6044条游戏轨迹,一共295097个交互回合,覆盖172款游戏,总时长约16.4小时。数据来源包括《我的世界》《GTA 5》《赛博朋克2077》这类3A大作,也有一些独立游戏。
这里有个很容易被忽略但实际很麻烦的问题:不同的数据来源,录制的时间粒度不一样,鼠标灵敏度的换算标准也不一样。有的数据集用的是每秒5帧的采样间隔,有的是每秒6.7帧;有的鼠标位移记录是相对坐标,有的是绝对坐标,而且不同游戏引擎对鼠标移动量的物理含义解读也不一样。
团队的解决办法是做了一套时间对齐和空间校准流程,把所有来源的数据统一映射到200毫秒一个控制步骤的标准网格上,并针对每个数据源单独计算鼠标位移的校准系数。
这就像你收集了全世界不同品牌温度计测出的体温数据,有的用华氏度,有的用摄氏度,还有的刻度本身就有系统误差。你没法直接把这些数字堆在一起训练模型,必须先一个个校准,换算成统一单位,才能让后续的学习过程有意义。如果跳过这一步直接拿原始数据喂给AI,那模型学到的鼠标操控幅度就是一团乱麻,在A游戏里学到的"转头45度"的操作,放到B游戏里可能变成转头180度,完全不可控。
标注完动作还不够,团队还用了一个视觉语言模型(Gemini 3.8 Flash)给每一帧画面配上任务目标和推理文字。比如在《艾尔登法环》对战赛丽娜双月骑士的那一帧,AI不仅要记住"按左键+按住W和Shift"这个动作,还要理解"她的挥砍正在划过玩家上方,此时冲上去重击能打中她的硬直空档"这样的战术逻辑。这一步让后续的监督微调不只是记忆动作,还在学习为什么要做这个动作。
十六个合成世界:为什么不直接在真实游戏里训练
解决了"AI会不会操作"的问题,接下来就是本文真正的核心创新:PLAYER-1-GYM。
这是团队自己搭建的十六个合成游戏环境,涵盖2D和3D,分成五大类:瞄准、战斗、驾驶、导航和界面交互。比如2D瞄准训练精准点击移动目标的能力,3D近战训练角色朝向、距离和移动的协调能力,2D界面制作训练在游戏菜单里查阅配方并合成装备的操作。
为什么不直接拿商业游戏来做强化学习?答案很直接:商业游戏是黑盒,你拿不到内部状态,没法实时验证AI的动作对不对,奖励信号就无从谈起。
但自己搭建的合成环境不一样,每一帧的游戏状态都是透明的,击杀数、收集的金币数、通过的检查点数,这些指标可以实时读取,直接转化成奖励信号。这就是为什么团队要专门造十六个环境,而不是直接把真实游戏接进来硬train。
这个思路有点像学开车前先去驾校练车场。真实马路太复杂,车祸的代价也太高,你没法让新手司机在真实马路上反复试错来学习怎么并线。但驾校练车场可以模拟各种路况,撞了锥桶没关系,可以重来,而且每一次操作的对错都有清晰标准。如果没有这个中间环节,直接让AI在真实商业游戏里瞎撞着学,一来没有程序化的奖励信号可用,二来试错成本(账号封禁、无法重置状态)会高到不可接受。
更巧妙的是,这十六个环境之间共享底层引擎和资产,这样做的好处是环境可以快速扩展,而且观察和动作的接口是统一的,AI学到的控制经验可以在环境之间迁移。
为了让AI学到的东西不只是"背答案",团队还给每个环境加了随机化,覆盖四个维度:外观(颜色、光照)、相机(视角、投影方式)、场景(布局、出生点)、控制(移动和转向的响应灵敏度)。同一个2D驾驶环境,可能这局是暖色调配色,下一局就变成冷色调;这局相机是正交视角,下一局可能换个缩放比例。
这种随机化训练出来的AI,面对一个全新的未见过的配色和视角组合时,不会因为"颜色不对"就直接宕机,因为它在训练阶段就已经适应了成百上千种颜色和视角的排列组合,学到的是控制逻辑本身,而不是某个特定画面的死记硬背。
多环境强化学习:怎么让一个AI同时在十六个世界里变强
有了环境,接下来是怎么训练。团队用的是
PPO(近端策略优化):一种主流的强化学习算法,核心思路是让策略每次更新的幅度不要太大,避免训练过程突然崩掉。
这里有个实际工程难题:十六个环境的奖励量级天差地别。打死一个敌人可能加10分,而完成一次赛车圈速检查点可能只加1分。如果直接把这些奖励混在一起训练,模型会不自觉地偏向那些"分数变化大"的环境,忽略分数变化小但同样重要的环境。
团队的解决办法是做环境内的优势值归一化,简单说就是把每个环境自己的奖励先标准化成均值为0、方差为1的分布,再拿去更新模型。这样不管某个环境原始分数是0到10还是0到1000,对模型更新的影响力度是一样的。
这就像一个班主任要同时给数学和语文打综合评价。数学考试满分150,语文满分100,你不能直接把两门课的原始分数加起来比大小,那样数学好的学生永远占便宜。正确做法是先把每门课的分数换算成年级排名百分位,再综合评价。如果没有这一步归一化,模型会把几乎所有的学习精力都投入到奖励数值大的那几个环境里,其他环境的训练信号会被完全淹没。
效果如何:数字说话
说了这么多设计思路,实际效果到底怎样?
团队训练了两个版本的模型,Player-1-9B和Player-1-35B-A3B,分别基于Qwen3.5的9B和35B-A3B骨干网络。训练流程是先做两轮监督微调,再跑200步的强化学习。
在MineDojo-300(300个《我的世界》任务)测试集上,Player-1-9B经过监督微调后成功率只有10.54%,而经过强化学习训练之后,直接跳到38.33%,提升了27.8个百分点。对比的外部最强基线GameWAM的成功率是12.63%,Player-1-9B的表现是它的三倍还多。
更值得关注的是任务覆盖率的变化。300个任务里,至少成功4次(满分8次试验)的任务数,从监督微调阶段的20个,涨到强化学习后的136个。这说明提升不只是个别任务碰运气做对了,而是整体稳定性的全面提高。
ViZDoom-10(十张经典Doom地图)和GameWorld(170个浏览器游戏任务,覆盖34款游戏)这两个测试集,训练过程中完全没有出现过,相当于拿去考AI没见过的题。Player-1-9B在ViZDoom上的得分从监督微调阶段的0.4361涨到0.6922,GameWorld的任务进度从31.43%涨到34.45%。
这个结果说明一件事:在合成环境里练出来的控制能力,是真的能迁移到完全陌生的游戏里去的,不是只会应付训练集里见过的套路。
团队还做了个更有意思的测试,把Player-1-9B接入一款两个模型都完全没训练过的商业游戏《看门狗2》,让它完成"步行寻找并进入一辆车,然后开车穿越城市"这样的连续任务。从结果截图看,AI能依次完成走向街道、接近白色轿车、按E键开门进车、驾车沿滨水大道前进这一整套流程,每一步都配有合理的推理文字。这种跨游戏的泛化能力,正是团队想证明的核心主张。
环境越多,泛化越强
团队还做了个消融实验,专门验证"合成环境数量"这个变量对最终效果的影响。
他们固定总训练预算为25600个episode,分别只用2个、4个、8个、16个环境来训练,起点都是同一个监督微调后的检查点。结果是,用2个环境训练后,Minecraft成功率从17.67%涨到39.33%;用16个环境训练,涨到了51.67%。
环境数量翻了8倍,成功率涨幅并不是线性叠加的,但确实是单调递增的,这说明环境多样性本身就是一种有效的训练信号来源,哪怕任务总预算不变。
这个发现有点反直觉。按常理想,固定总训练量不变,把预算摊薄到更多环境里,每个环境分到的训练次数就更少了,效果不应该更差吗?但实际情况恰恰相反,广度比单一环境里的深度更有价值。这就像学语言,你花100小时只学一种方言,口语可能很溜,但换个地方就听不懂了;你把同样100小时分散到十种方言里,每种学得都不算精,但你综合理解语言规律的能力反而更强,遇到第十一种方言时适应得更快。
组合动作在训练中悄悄变多了
最后一个很有意思的发现是关于动作组成的演变。
团队追踪了Player-1-9B在强化学习训练过程中,组合动作(同时执行两个以上输入)的使用比例。训练开始时是64.7%,训练到第50步涨到85.4%,到第100步涨到93.2%。
这个变化完全没有被显式奖励过,模型本身没有被告知"多用组合动作能得分",但强化学习的过程自发地让模型越来越倾向于使用组合动作。合理的解释是,游戏里很多任务本质上就需要同步控制,比如一边瞄准一边开火,一边移动一边转镜头。单独执行这些动作效率太低,模型在追求更高分数的过程中自然而然学会了"动作要打包执行"这件事。
这说明一个更深层的道理:有些能力不需要被直接教,只要给出正确的目标和反馈机制,AI会自己摸索出最优策略。这和人类学技能的过程其实挺像,没有教练会专门教你"打字时要同时用多个手指",你练着练着自己就学会了,因为单指打字实在太慢,被环境本身淘汰了。
Q&A
Q1:PLAYER-1是什么?
A:PLAYER-1是腾讯和新加坡国立大学团队提出的一个游戏AI训练框架,核心思路是在监督微调之后,让AI在16个自己搭建的合成游戏环境里通过强化学习继续练习,用程序化可验证的奖励信号提升游戏控制能力,而不是单纯依赖人类游戏录像学习。
Q2:PLAYER-1-GYM和真实游戏训练有什么区别?
A:PLAYER-1-GYM是团队自己搭建的16个2D和3D合成环境,每个环境的游戏状态都是透明可读的,可以实时计算击杀数、金币数等指标转化成奖励信号。真实商业游戏是黑盒,没法获取内部状态,所以没法直接做强化学习训练。
Q3:PLAYER-1训练出的模型效果怎么样?
A:Player-1-9B在MineDojo-300测试集上的成功率从监督微调后的10.54%提升到38.33%,超过最强外部基线GameWAM的12.63%。在从未训练过的ViZDoom和GameWorld测试集上也有明显提升,说明合成环境练出的控制能力能迁移到陌生游戏里。







