2026年的某一天，如果你走进清华大学计算机系的机房,可能会看到一群学生正在看着屏幕上的AI互相对战，但这些AI不是在下棋，而是在写代码。
准确地说,是AI在写另一个AI的代码。一个AI负责读游戏规则、看比赛录像、分析对手的策略,然后动手修改另一个程序的源代码,让这个程序在游戏里打得更好。这个过程听起来有点绕,但它背后藏着一个挺有意思的问题：如果把学习这件事从"调整参数"换成"改代码",AI还能不能学会打游戏，而且打得比人类还好？
这就是清华大学团队这篇论文想要回答的核心问题。他们搭建了一个叫AAArena的竞技场，里面放进了十二款真实存在过的对抗性游戏，外加1920个人类选手留下的游戏程序，让七种不同的AI模型去挑战人类高手留下的排行榜。
**结果是，最强的那个AI配置在十二款游戏里拿到了六块金牌，也就是六次排名第一，但剩下六款游戏，没有一个AI配置能爬到榜首。**
这个成绩单本身就很有意思，它既不是AI全面碾压人类的爽文剧情，也不是AI一败涂地的失望故事。它更像是一张X光片，照出了AI在学习这件事上到底强在哪里、又卡在哪里。
为什么要让AI改代码，而不是调参数
要理解这篇论文在做什么，得先回到一个更基础的问题：机器学习通常是怎么学的？
传统的强化学习,靠的是不断试错，然后调整一堆数字参数，让这些参数组合起来的网络在下一次尝试时表现更好一点。这个过程像是在给一个巨大的调音台反复拧旋钮，每次拧一点点，拧上千万次,最后调出一首好听的曲子。
**这篇论文提出的方案完全不同，叫启发式学习（Heuristic Learning，简称HL），指的是AI智能体直接修改可执行的软件代码本身来积累经验,而不是调整模型内部的数字参数。**
论文把这个思路用在对抗性游戏里，起了个名字叫对抗性启发式学习（Adversarial Heuristic Learning，简称AHL）。简单说就是：AI智能体的"大脑"（也就是模型权重）全程保持不变，它学习的方式是去读比赛录像、分析失败原因，然后动手重写它所控制的那个游戏程序的源代码。
这个设计思路的关键差别在哪？如果打个比方，传统强化学习更像是训练一个运动员的肌肉记忆，通过千万次重复动作微调神经反射，但这个运动员说不出自己为什么这么做。而启发式学习更像是请一个教练，这个教练永远是同一个人（模型权重不变），但他会不断修改运动员的训练手册（也就是代码），手册上写着"看到对方这么做就该这样应对"，这些规则是显性的、可读的、能被拿出来复盘的。
如果不这样做，而是单纯依赖参数调整，会发生什么？代价很明确：你得不到一份可以拿给人看、可以改、可以追溯因果的策略文档。一个调好的神经网络里，你很难指着某个数字说"这个参数就是因为上次输给了某个对手才被调整的"。但在这篇论文的框架里，每一次代码修改都有据可查，研究者甚至能像读历史一样追溯某个策略的演化过程，这也是为什么后面的案例分析能做得那么细致。
AAArena：十二款游戏搭成的考场
光有思路还不够,得有地方验证。于是研究团队把目光投向了一个真实存在的赛事：清华大学学生科协每年举办的信息学竞赛（Saiblo平台），这个比赛每年都会推出一款全新的对抗性游戏，让参赛者写程序互相较量。
**团队从这个比赛的历史档案里挑出了十二款游戏，加上1920份人类选手留下的真实程序，搭建成了AAArena这个评测基准。**
这十二款游戏五花八门,有吃豆人式的地图收集游戏Pacman，有蛇形地盘争夺游戏SnakeGo，有不对称追逐游戏Rollman，也有塔防经济游戏AntWar，甚至还有带隐藏身份推理机制的AquaWar。规则复杂度也拉开了差距，用一种叫抽象语法树节点数（AST nodes）的技术指标来衡量，意思是把游戏规则写成标准化的伪代码之后，这段代码里有多少个语法节点，节点越多说明规则越复杂。
研究者还顺带拿Pacman当参照：Pacman只有1127个节点，而规则最复杂的AntWar2有6368个节点，是前者的五倍还多。作为对比，国际象棋的规则大约是1551个节点，围棋是501个节点，也就是说这十二款游戏里有好几款的规则复杂度已经超过了国际象棋。
这个设计很值得玩味。如果AAArena只放几款简单游戏，那AI能不能学会其实没什么说服力，毕竟连人类小孩都能很快上手。但如果故意混入规则复杂到超过国际象棋的游戏，就能真正检验AI是不是能"读懂说明书再动手"，这恰恰是AI智能体区别于传统强化学习的核心能力。
那AI具体是怎么"学"的？论文设计了一个双轨反馈机制。
**小规模对战（small matches）指的是AI可以自己挑选对手，打几局测试局，然后获得详细的比赛录像反馈；全量评估（full-pool evaluations）则是把当前策略拿去和整个人类对手池较量一遍，返回一个Elo分数和排名。**
这里又冒出一个术语。Elo分数是一种常见的实力评分体系，最早用在国际象棋排名上，简单说就是赢了强者涨分多，输给弱者掉分多，分数越高代表实力越强。
这两种反馈渠道的设计很巧妙。小规模对战像是私下里找陪练打几局，可以挑软柿子捏，也可以挑硬骨头啃，目的是诊断具体问题，比如"我是不是在资源分配上有漏洞"。全量评估则像是正式比赛，必须和全场所有对手打一遍，拿到的是一个客观、不能挑软柿子的综合成绩单。
如果只给AI全量评估这一种反馈会怎样？AI每次都要面对全场最强到最弱的所有对手，获得的信息是笼统的"你排第几"，却不知道具体是哪个环节出了问题。这就好比一个学生每次只拿到期末总成绩,却从不知道哪道题扣了分,根本没法针对性复习。小规模对战的存在，就是给了AI一个可以精确制导的诊断工具。
每次实验给AI的预算是固定的：128次小规模对战机会和16次全量评估机会。AI要在这个预算里自己决定什么时候改代码、什么时候去验证、什么时候该收手。
六金六铁：AI到底打赢了谁
实验结果摆在Table 2里，七种AI模型配置轮番上阵，其中表现最突出的是一个叫Opus5.5搭配Claude Code工具的组合。
**这个配置在十二款游戏里拿到六块金牌，在九款游戏里拿到最高或并列最高的Elo分数，但剩下的六款游戏，没有一个参赛配置能登顶。**
具体看几个数字会更有感觉。在Pacman这款规则最简单的游戏里，Opus5.5的Elo分数冲到了2703.9，远超排名第二的配置（2367.6）。在Rollman这款不对称追逐游戏里，有四种不同的AI配置都打到了第一名，说明这款游戏对AI来说门槛不算太高。
但在LOTA这款英雄对抗游戏里，表现最好的AI也只排到第15名；在Generals这款涉及领土扩张、经济生产、科技升级多重机制交织的游戏里，最好成绩是第10名。更极端的是Dorado这款资源竞争游戏，最好成绩定格在第2名，只差人类冠军一步之遥，却始终没能跨过去。
这里有一个规律非常清晰：**规则复杂度排名前六的游戏里，有五款AI都拿到了第一名；而规则复杂度排名后六的游戏里，只有一款AI登顶。**
这说明什么？规则越复杂，AI越难把"理解规则"转化成"打赢比赛"的实际能力。这个发现其实挺反直觉的，因为你可能会觉得现在的大语言模型阅读理解能力已经很强，读懂一份几千节点的规则说明书应该不难。但读懂规则和把规则落地成能赢比赛的代码，中间隔着一条巨大的鸿沟，这条鸿沟才是AI真正的软肋。
打个比方，这就像让一个人读完整本《孙子兵法》，和让他真正带兵打一场复杂的多兵种协同战役，完全是两回事。前者考验的是阅读理解，后者考验的是把抽象原则转化成具体决策序列的能力，而且决策之间还要互相配合、不能顾此失彼。规则越复杂，意味着需要同时兼顾的变量越多，这种"多线程决策"恰恰是当前AI智能体最容易卡壳的地方。
三种成长曲线：顺利登顶、曲折进步、原地打转
研究团队没有止步于最终排名，他们把GLM-5.3这个模型的十二次独立实验过程完整记录了下来，发现策略进化呈现出三种截然不同的模式。
第一种叫成功模式，在Rollman、MoneCraft、Pacman和AquaWar这四款游戏里，AI很快就冲到第一名，甚至没把16次全量评估的预算用完就提前结束了实验。这说明在这些游戏里，基于反馈的代码修订确实能在有限交互次数内造出碾压人类的策略。
第二种叫进步模式，在AntWar、Dorado、LostSpace、SnakeGo和AntWar2这五款游戏里，整体趋势是在变好，但过程并不平顺，经常会出现某一次修订之后排名反而下滑的情况。Dorado这款游戏表现得尤其典型，中间有一段连续多次稳步提升，而AntWar2却在中途经历了一次断崖式下跌，LostSpace更是在接近结束时还在反复波动。
第三种叫停滞模式，Generals、Miracle和LOTA这三款游戏在经历初期的适应之后，就陷入了长时间原地踏步的状态，无论怎么继续修订和评估，分数都在一个狭窄区间里来回震荡，上不去。
为了搞清楚进步模式背后到底发生了什么，研究者把Dorado这款游戏的完整演化过程拆解出来做了个案例研究，这个案例读起来相当有意思。
Dorado是一款两人对抗游戏，双方各自控制一个基地，招募四种职业的英雄去挖矿赚钱，再用钱升级英雄或招募新兵，摧毁对方基地就赢。
**GLM-5.3控制的AI智能体从排名第41位一路爬到第2位，论文把这个过程拆成了几个关键节点。**
第一个关键修订是纠正挖矿分配逻辑。游戏里中心矿井永远开放，其他矿井有开放时间窗口限制，而且每个矿井只按照单个最高效率计算产出，派多个英雄去同一个矿井并不会叠加收益。AI最初的策略里没意识到这点，经常把好几个英雄堆在同一个矿上浪费人力，修正之后排名从41升到了14。
第二个关键修订是集中资源升级两个核心英雄，而不是雨露均沾式地给每个英雄都升一点，这一次调整带来了整场实验里最大的单次跃升，Elo分数直接涨了147.7分，排名从14冲到第3。
第三个关键修订是优化反击时机，只有在持续遭受近距离攻击压力之后才允许单个英雄发起反击，这次调整让排名最终定格在第2位。但有意思的是，AI中途也尝试过其他方案，比如启用四英雄阵容或者无条件使用某个牺牲技能，结果这些尝试反而让排名跌回46位和43位，说明不是所有尝试都奏效，AI也会犯错，而论文的评估机制会自动保留历史最佳版本，不会因为一次失败的实验就前功尽弃。
这个案例特别有价值的地方在于，它让"AI在学习"这件事变得可以被具体看见。不是一个黑箱式的数字在变好，而是能清清楚楚看到：哪一行代码被改了，改动前后发生了什么，这次改动是让挖矿效率提升了，还是让战斗决策更聪明了。
加量不加价：更多预算救不了停滞的游戏
看到Generals、Miracle、LOTA这三款游戏陷入停滞，研究团队很自然地会问一个问题：是不是预算给少了？如果把交互次数再提高三倍，是不是就能突破瓶颈？
于是他们做了一个追加实验，给这几款停滞游戏外加AntWar2，额外追加256次小规模对战和32次全量评估，总预算变成384次小规模对战和48次全量评估，是原来的三倍。
**结果令人意外，三倍预算下，Generals和LOTA的最佳成绩分毫未动，Miracle从第26名小幅前进到第19名，AntWar2从第9名前进到第6名，没有一款游戏突破了原来的排名天花板。**
这个结果其实是这篇论文里最发人深省的部分之一。它说明单纯堆砌交互次数，并不能线性地换来策略水平的提升。如果把学习过程想象成爬山，很多时候AI不是因为体力不够爬不动了（预算不够），而是真的站在了一个局部最优的平台上，周围全是平地，怎么走都走不出去。
这就好比给一个在某道数学题上卡壳的学生无限次重做这道题的机会，但如果他从一开始理解这道题的思路就有偏差，重做再多次也只是在同一个错误逻辑里打转，根本突破不了。真正需要的不是更多的练习次数，而是某种能打破思维定式的外部刺激。
这个洞察直接引出了论文后半部分最精彩的一组实验：换一种反馈方式，是不是就能打破僵局？
对手选哪个、反馈给多细、一次测几个：三个关键变量的真实威力
研究团队选了三款代表性游戏，分别对应前面说的三种成长模式：Pacman代表成功模式，AntWar代表进步模式，Miracle代表停滞模式，然后做了一系列控制变量实验，逐个检验不同的反馈设计到底有没有用。
第一组实验是对手选择策略。他们比较了四种选对手的方式：让AI自己挑对手（模型选择）、按照实力从弱到强逐步升级的天梯模式、完全随机抽取、只打最强的四个对手。
**结果显示，模型自主选择和天梯递进这两种策略在三款游戏里全面优于随机抽取和只打最强对手这两种策略。**
这个结果其实点出了一个很朴素但容易被忽视的道理：学习效果不取决于你打了多少场比赛，而取决于每场比赛能不能提供有用的信息。只打最强对手，表现最差，这其实很好理解，因为如果你的水平和对手差距过大，每次都是一边倒的惨败，你根本分辨不出自己哪一步具体做错了，所有失误都被对方的绝对实力碾压掩盖掉了。而循序渐进地挑战逐渐变强的对手，或者AI自己判断该挑战谁，能让每一场比赛的胜负更贴近"刚好能看出问题"的区间，这样的反馈信号信息密度最高。
打个比方，这就像一个刚学游泳的人，如果直接丢进奥运选手扎堆的泳池里训练，每次都是被远远甩开，他根本不知道自己是蹬腿姿势错了还是换气节奏不对，所有信息都被巨大的实力差淹没了。但如果找一个只比自己稍微快一点的伙伴一起练，每次输赢都很接近，反而能精准地感知到自己哪个环节还能再抠一抠。
第二组实验是反馈的详细程度。研究者对比了详细比赛录像（dense feedback，包含每一步的状态、动作、后果）和简化成只有输赢结果的二元反馈（binary feedback）。
**三款游戏里，详细反馈带来的最终Elo分数全面高于简化反馈，差距最明显的是Pacman，详细反馈下排名第1，简化反馈下只排到第11。**
这个结果不难理解，但值得多说一句。如果只告诉AI"你输了"，它能做的推断非常有限，只能笼统地猜测整体策略需要改进，但不知道究竟是哪个具体决策点出了问题。而详细录像能让AI看到每一步棋，哪一次资源分配不合理，哪一次时机判断失误，这种颗粒度的信息才能支撑起精准的代码修订。
如果拿考试来打比方，二元反馈相当于只告诉学生"你这次没及格"，详细反馈则相当于发回一份标注了每道错题具体错在哪里的试卷。显然后者能帮学生更快找到自己的薄弱环节，而前者只能让学生在黑暗里瞎猜。
第三组实验是每次小规模对战里测试对手的数量，对比了1个、2个、4个、8个这四档。
**结果呈现出一个中间最优的趋势，Pacman和Miracle的最佳批次大小是4，AntWar的最佳批次大小是2，极端的批次大小（1或8）表现都不如中间档位。**
这个结果背后的权衡逻辑其实很直观。批次太小（比如只测1个对手），每次测试覆盖的对局场景太窄，AI很难从一次对局里归纳出普适规律；批次太大（比如8个对手），虽然单次覆盖面广，但由于总预算固定，意味着能反复修订和验证的总轮次大大减少了。这就像是在"每次学得广一点但练习次数少"和"每次学得窄一点但练习次数多"之间找平衡点，太偏向任何一端都不划算。
借别人的经验走出自己的瓶颈
最后一组实验可能是整篇论文里最有想象力的一部分：既然AI学习自己的比赛录像效果有限，那能不能让它去看看别人的比赛录像？
**研究团队设计了一个off-policy（脱离自身策略）的学习条件，让AI不再分析自己打过的比赛，而是去翻阅人类对手池之间互相较量的历史录像，从中汲取经验，然后依然用这些经验来修改自己的策略代码。**
这里顺带解释一下两个术语。on-policy（符合自身策略）指的是学习素材来自AI自己参与的比赛；off-policy指的是学习素材来自和AI自己无关的第三方对局，这个概念借用自强化学习领域，但在这里特指"复盘素材的来源"，而不是指某种特定的算法类型。
结果出人意料地有说服力。**在Miracle这款陷入停滞的游戏里，on-policy学习的最终排名卡在第26位，而off-policy学习的最终排名冲到了第15位，突破了原本的瓶颈。**
这个发现特别值得细品。前面已经证明了单纯增加自己打比赛的次数无法突破平台期，但换成去看别人的比赛录像，哪怕总预算完全一样，却能打破僵局。这说明问题不在于"练习量不够"，而在于"自己打的比赛，提供的信息本身就陷入了某种同质化循环"。如果一直只复盘自己的失败，很可能每次复盘得出的教训都大同小异，陷入了思维的死胡同。但别人的对局往往展示了完全不同的策略路径，这些路径是AI自己从未尝试过的，相当于打开了一扇新窗户。
这就好比一个棋手反复复盘自己的败局，如果自己一直用同一套开局思路，复盘来复盘去发现的问题也大同小异。但如果去研究别的高手的棋谱，哪怕对方和自己风格完全不同，也可能从中发现一种全新的开局或中盘思路，这种"借脑"带来的启发往往比反复自我复盘更有效。
不过这个效果也不是放之四海而皆准的。在AntWar这款游戏里，情况正好反过来，on-policy学习表现更好，排名第5，off-policy学习反而退步到第19。研究者的解释是，不同游戏对"自我经验"和"他人经验"的依赖程度不一样，这也提醒我们，没有一种学习策略能通吃所有场景。
代码里藏着的算法品味
论文还做了一个挺有意思的附加分析：既然AI最终产出的是可读的源代码，那不妨看看这些代码里到底用了什么算法。
研究团队把84份最终胜出的策略代码按照算法类型分成六类：基于规则的硬编码判断（比如一堆if-else逻辑）、启发式打分（给候选动作人工加权打分再贪心选择）、图搜索（比如寻路算法）、前瞻搜索（比如模拟推演、博弈树搜索）、组合优化（比如动态规划）、推理与随机化（比如针对隐藏信息的概率推断）。
**统计结果显示，平均下来79%的代码都是靠规则和启发式打分撑起来的，图搜索占13%，剩下四类加起来只占8%。**
这说明什么？当前的AI智能体即使拥有强大的语言理解和代码生成能力，在真正落地解决问题的时候，依然更倾向于写"如果看到A就做B"这种朴素的规则判断，而不是构建更复杂的搜索算法或概率推理系统。这其实和前面规则复杂的游戏表现更差这个现象是呼应的，复杂的博弈场景本应该需要更精细的前瞻搜索去规划多步棋局，但AI在实践中似乎更倾向于走捷径，用简单规则去应付复杂局面，这可能正是它在复杂游戏里打不过人类的深层原因之一。
有意思的是，Opus5.5这个表现最好的配置，恰恰是规则代码占比最低（47%）、启发式打分和前瞻搜索占比最高的配置。这似乎暗示着，愿意写更复杂算法逻辑的AI，往往也是最终打得更好的AI，虽然论文也谨慎地提醒，这只是一种相关性观察，不能直接证明"写复杂算法就能赢"这个因果关系。
写在后面
读完这篇论文，最触动我的其实不是六块金牌这个结果，而是三倍预算救不了停滞游戏，换个反馈来源却能打破僵局这个对比。这组实验安静地推翻了一个我原本下意识的假设：学习效果和投入资源量应该大致成正比。但这篇论文告诉你，有时候瓶颈根本不在"练得不够多"，而在"练习的素材本身陷入了循环"。
这个发现让我想起写作这件事。一个人如果只是反复修改自己的同一篇稿子，很容易陷入一种自我强化的思维定式，越改越觉得这就是最好的版本了。但如果去读几篇完全陌生领域作者的文章，哪怕风格迥异，往往能撞出一些意料之外的灵感。off-policy学习在游戏AI身上验证的这个道理，其实在很多需要持续精进的领域都适用。
还有一个细节让我反复琢磨：规则复杂度和AI表现之间那条近乎线性的负相关关系。这意味着当前AI智能体的瓶颈，可能根本不在推理能力本身，而在于把一份冗长复杂的规则说明书转化成一套互相配合、层层递进的可执行决策链条这件事上。这个瓶颈和人类玩家面对复杂规则时的困境其实颇为相似，只不过人类可以靠直觉和长期试错慢慢摸索出感觉，而AI目前似乎还没找到那种"直觉"。
那块始终没被攻克的Dorado第二名，倒是让我挺好奇后续会怎么发展。如果再给它三倍预算，再换一批录像来源，会不会某一天真的有AI从第二名挤到第一名？还是说，这道最后一公里的坎,恰恰是当前这批AI模型，无论换多少种学习方式，都迈不过去的那道墙？
Q&A
Q1：AAArena是什么？
A：AAArena是清华大学团队构建的一个评测基准，包含12款真实存在的对抗性游戏和1920份人类选手留下的游戏程序，用来测试AI智能体能不能通过阅读规则、分析比赛录像来持续改进自己编写的游戏策略代码，最终爬上人类高手的排行榜。
Q2：对抗性启发式学习和传统强化学习有什么区别？
A：传统强化学习靠反复调整模型内部的数字参数来学习，对抗性启发式学习（AHL）则是让AI智能体的模型权重保持不变，转而直接修改可执行的策略源代码来积累经验，修改依据来自比赛反馈，比如比赛录像和排名结果。
Q3：AI在这十二款游戏里表现怎么样？
A：表现最好的配置是Opus5.5搭配Claude Code工具，拿到了六块金牌，也就是六次排名第一，但剩下六款规则更复杂的游戏，没有任何一种AI配置能超越人类留下的最高排名，其中规则最复杂的几款游戏差距尤其明显。
