先问你一个问题。
如果有人把你空投到一个陌生星球，给你一本说明书，但这本说明书里一半的内容是错的，你要怎么活下来？
你可能会说，那我就动手试试呗，按说明书做一遍，发现不对就调整。这听起来是常识，但对现在最聪明的那些AI系统来说，这件事出乎意料地难。
2026年,来自复旦大学、腾讯混元团队和清华大学的研究者们做了一件挺有意思的事。他们造了两个"外星世界",一个叫AlienCode,一个叫AlienLogic,专门用来测试AI到底会不会"探索"。测试结果里有一个数字让人愣了一下:在完全没看过这个世界之前,顶尖AI系统在AlienCode里的正确率最高只有15.7%。四轮自主探索之后,最好的成绩冲到了87.6%。中间这72个百分点的差距,就是这篇论文想要讲清楚的故事。
科学发现这件事,难在哪
我们平时评价AI聪不聪明,大多是让它做数学题、写代码、答知识问答。这些题目有一个共同点:答案已经存在于AI训练时读过的海量数据里。它表现得好,可能是真的会推理,也可能只是记住了类似的题目见过的解法。
但科学研究从来不是这样运作的。牛顿看到苹果落地之前,没有人告诉过他万有引力是什么样子。研究者面对的是一个未知的、常常和已有认知冲突的世界,他们需要自己决定做什么实验、观察结果、修正猜想,然后把学到的东西用到新问题上。这个能力,叫探索能力。它和"回忆已知知识"完全是两件事。
评价探索能力这件事本身有个死结。你想让任务对AI来说是全新的,这样它才不能靠记忆蒙混过关。可你又需要知道正确答案是什么,才能判断AI做对了没有。数学和编程题满足第二条,但满足不了第一条,因为这些领域的知识AI在训练时大概率见过。真正全新的科学发现满足第一条,但满足不了第二条,因为没人知道答案对不对,可能要靠专家审稿好几年才能验证。
这篇论文的解法挺聪明:造一个假的外星世界。
这个世界满足两个条件:它的规则是可执行的,意味着每一个答案都能被精确验证,不需要靠人或者靠另一个AI来打分;它的规则故意和常识、和AI训练数据里学到的东西相冲突,这样AI就没法靠"背answer"过关,必须真的去试错才能搞明白规则是什么。
打个比方。如果你想测试一个人到底会不会独立思考,还是只会死记硬背,你不会拿一道他可能背过答案的历史题考他。你会给他一套全新发明的棋类规则,棋子怎么走完全是你随手编的,和他从小学的象棋、围棋规则统统不一样。只有当规则是全新编造的,他能不能靠观察和试验摸出玩法,才真正反映他的学习能力。如果规则和他学过的棋类相似,他答对了你根本判断不出他是真会玩还是蒙对的。
两个外星世界:代码版和逻辑版
第一个沙盒叫AlienCode,是一门小型编程语言。它的操作符看起来眼熟,但实际含义完全不同。比如整数字面量100,在这个语言里会被悄悄和27做异或运算,所以你输入EMIT(100),打印出来的不是100,而是127。又比如一个叫PLUCK的函数,说明书上写它是从0开始数位置,但实际系统里它是从1开始数的。
术语解释:XOR(异或运算),一种二进制位运算,两个二进制位相同时结果为0,不同时结果为1。这里被用作对整数字面量做的一种"加密"变换,让数字表面上看起来正常,实际计算结果却和常识不符。
这个沙盒里藏了31个需要被发现的规则,对应70道最终考核用的任务。任务被分成好几类:基础任务、嵌套组合任务、极限边界任务,还有专门用来验证是否覆盖了全部规则的任务。有意思的是,有8个规则其实是"烂虚招",说明书写的和实际系统一致,专门用来测试AI是不是过度怀疑一切、把所有东西都当成陷阱。
第二个沙盒叫AlienLogic,是一套形式逻辑证明系统。它有24个被动过手脚的推理规则,比如原本逻辑学里"否否得肯定"(??p推出p)这条基本规则,在这个世界里被直接禁用了。这个沙盒对应70道任务,其中一部分是要求AI证明一个命题,另一部分反过来,是要求AI判断某个命题根本不可能被证明,然后正确地拒绝作答。
术语解释:自然演绎系统,一种逻辑证明的记法体系,通过一系列推理规则(比如"如果A那么B,现在A为真,所以B为真")从前提推出结论,常用于逻辑学和计算机科学教学。
这两个世界的设计有个共同的巧思:说明书是"假的",但假得有原则。它不是随机乱写,而是精确地在某些点上和真实系统对着来。这样AI就没法通过"我干脆完全不信说明书"这种懒办法过关,因为说明书大部分内容其实是对的,完全不信反而会全盘出错。它必须精确地找出哪些地方被动了手脚。
探索的三个阶段:种子、探索、考核
整套流程分三步走。
第一步叫种子阶段。每个AI系统会拿到一份说明书和一组固定的示范例子,比如AlienCode给了10个例子,涵盖各种基本程序写法。这个阶段AI不能调用任何工具,纯粹是"读书"。这一步的目的是保证所有系统站在完全相同的起跑线上,读的是一样的书,没有任何人多看一眼。
第二步是探索阶段,一共四轮。每一轮,AI可以自己决定写什么程序或证明,提交给这个虚拟环境去执行,环境会返回精确的结果。AI要根据这些反馈不断修正自己心里对规则的理解。这个过程里没有任何参数更新,AI的"大脑"本身没有变,变的只是它当下这次对话里积累的证据和推理。
第三步是里程碑考核。每轮探索结束后,系统会被放进一个全新的、工具被禁用的对话副本里进行测试,回答70道从未见过的题目,同时要说出它认为自己已经摸清楚的规则是什么。测试完这个副本就被扔掉,绝对不会把考试过程中产生的任何东西带回到接下来的探索里。
这个设计有个细节值得多说一句:为什么要专门造一个"用过就扔"的副本来考试,而不是直接在探索对话里问问题?
想象一下你在准备一场闭卷考试。如果监考老师允许你在考试过程中翻书查资料,那这场考试根本测不出你到底记住了多少东西,只能测出你翻书的速度。研究者要保证的是,里程碑测试测出来的分数,反映的是AI在那个时间点已经内化的知识,而不是它当场又去翻了一遍参考资料。如果不这样隔离,那么所谓的"里程碑曲线"根本没有意义,因为每次考试本身都会给下一轮探索泄题。
AI在这两个世界里表现得怎么样
研究者测试了十个前沿AI系统,包括Claude Opus 5、GPT-5.6 Sol、Gemini 3.8 Flash、Grok 4.6等等,每个系统在每个沙盒里跑三条独立的探索轨迹,取三条里表现最好的那条作为该系统的最终成绩,这个指标叫Best@3。
术语解释:Best@n,指一个系统跑n次独立尝试后,取其中表现最好的那一次作为最终成绩的评价方式。它衡量的是系统能达到的"上限",不代表每次都能稳定复现。
结果里最直观的一条结论是,探索确实产生了任务需要的知识,而不是靠回忆或者干想。数据摆在这里:探索前,AlienCode里没有任何一条轨迹的准确率超过15.7%。四轮探索之后,最好成绩冲到87.6%,十个系统里有七个超过了60%。作为对照,如果只给AI同样多轮的"思考时间"但不让它接触真实环境反馈,那么AlienCode的成绩最高也就停在11.0%。这说明单纯多想,不给真实世界的反馈,是没有用的。
在AlienLogic里情况稍微不同一些。因为这套逻辑系统只改动了部分规则,标准的逻辑推理还留着大半,所以起点就比AlienCode高,在32.9%到51.9%之间。经过四轮探索,最好的成绩来到58.1%到83.8%。
谁来设计实验,比拿到什么结果更重要
论文里有一个特别值得琢磨的发现。研究者设计了几组对照实验,专门用来拆解"探索"这件事到底是哪个部分在起作用。
自主探索是AI自己决定下一步做什么实验。事后重演探索则是把某个系统表现最好的那条轨迹里用过的所有实验,原封不动地重新喂给它,它只需要读结果、更新猜想,但不再自己决定下一步测什么。固定探针探索更极端,直接给所有系统喂同一套和它们的思考完全无关、随机生成的实验序列。
在AlienCode里,这三种条件的成绩中位数分别是66.0%(自主)、40.7%(事后重演)、5.7%(固定探针)。九个系统里,自主探索都打赢了事后重演,平均领先17.1个百分点,而这个环境是完全确定性的,也就是说事后重演拿到的证据和自主探索时是完全一样的证据。差距不来自于信息量,而是来自谁来设计这场实验。
这个现象让我想到学开车。同样一本驾照教材,同样一段路况,一个人是自己上路练车,不断根据自己犯的错误调整下一次怎么开;另一个人是坐在副驾,看着教练开一遍完全相同的路线,把每个操作都记下来。两个人接触到的路况信息是一样的,但真正上手开车的那个人对车的手感、对错误的预判能力会强得多。因为主动犯错、主动纠正这个过程本身,就是学习的一部分,不是学习的副产品。如果直接把别人试错后总结出来的"正确答案"喂给你,你跳过了那个纠错的肌肉记忆,反而学得更浅。
但有意思的是,这个规律在AlienLogic里彻底反过来。自主探索和事后重演的成绩几乎打平,中位数只差0.5个百分点。研究者的解释是,逻辑证明这个任务本身更依赖于"到底试过哪些具体的证明思路",而不是"谁来决定试哪个思路"。换句话说,同样的证据,在编程任务里因为需要自己去踩坑才能真正学会,而在逻辑证明里,只要读到了正确的证据,不管是谁选的,都能学明白。
一个AI在两个世界里的排名几乎不相关
这篇论文还给了一个挺打脸的结论:同一个AI系统,在AlienCode里探索能力强,不代表它在AlienLogic里也强。
两个沙盒里Best@3排名之间的斯皮尔曼相关系数只有0.35,基本可以理解为两者关联很弱。Grok 4.6在AlienCode里排第五,到了AlienLogic里跃升第一。Gemini 3.8 Flash在AlienCode里排前三,到AlienLogic里却是垫底。DeepSeek-V4-Pro在AlienCode里是最后一名,换个沙盒直接冲到第六。
这提示我们一件事:"探索能力"这个词听起来像是一个统一的、单一的能力,但实际上它很可能是好几种能力拼在一起的。一个人善于通过实验摸索代码逻辑,不代表他就一定善于通过实验摸索逻辑证明的规则,这两者所需要的思维方式确实不太一样。用一场考试给一个人的"综合能力"打分,本身就可能是个陷阱。
知道规则,和会用规则,是两件不同的事
论文提出了一个特别值得展开讲的现象。研究者在AlienCode的70道题里发现有两条规则格外关键,一条是PLUCK函数的索引偏移,一条是CARVE函数的切片偏移,这两条规则加起来涉及51道题,占了70道题的大部分。
数据显示,那些最终成绩排在50%以上的轨迹,15条里有13条在自己汇报的规则清单里正确说出了这两条关键规则。而成绩掉在25%以下的轨迹,9条里有6条这两条规则一条都没说对。整体来看,一条轨迹在里程碑测试时自称掌握了多少条规则,和它最终考试成绩的相关系数达到0.85,是相当强的正相关。
但紧接着,论文又给出了一个反向的例子,提醒你别把这个相关性看得太绝对。
有两条轨迹,在最后一次考试里,把这两条关键规则都正确地写进了自己的汇报清单,结果实际考试成绩却只有4.8%和12.9%,惨不忍睹。
这说明知道规则和用对规则,是两件完全不同的事。研究者进一步统计了整个数据集:当一条轨迹在汇报里正确说出了某道题需要的所有规则,这道题依然只有70.9%的概率被真正做对。反过来,当汇报里某条必需的规则是错的甚至完全没提,这道题居然还有34.3%的概率蒙对或者用别的方式绕过去做对了。
这个现象和我们生活里常见的一种情况特别像。你去问一个刚学完交规的新手司机,倒车入库要注意什么,他能把要点讲得头头是道,一二三四说得清清楚楚。可真让他上车倒库,他可能压线、可能撞杆。反过来,一个开了十年车的老司机,可能连交规条文的具体表述都记不清了,但他倒车入库从来没失误过。嘴上说得出来,和手上做得出来,中间隔着一整套"操作性知识",这两者不是一回事,也不能互相替代。
论文里给出的解释是,AI嘴上汇报的那份规则清单,顶多算是它内部理解状态的一个粗糙投影,不是它真实能力的镜子。你要真正判断一个系统学得怎么样,只能靠让它去做题,不能只听它说自己学到了什么。
被告知答案,有时候反而不如自己摸索出来
论文设计了一组特别直白的对照:如果直接把完整的正确规则告诉AI,它的表现会怎样?
结果分成两种完全不同的情况。
在AlienCode里,七个系统靠自己四轮探索拿到的成绩,居然超过了直接被告知全部规则的成绩。GPT-5.6 Sol自主探索拿到87.1%,而被直接告知规则却只有68.1%。这个差距相当悬殊。
原因大概是这样的:AlienCode需要的不只是知道规则,还需要大量"用规则动手写代码"的练习。直接被塞进一份规则清单,系统没有经历过用这些规则解决实际问题的过程,反而不熟练。而自主探索的四轮里,系统一路上不停地在用规则写程序、看结果、调整,相当于顺便刷了很多题,这些"刷题"的副产品比规则本身更值钱。
但在AlienLogic里,情况完全反过来。直接告知规则的成绩普遍在93%到97%之间,没有任何一条自主探索的轨迹能追上这个数字。也就是说AlienLogic这个任务的瓶颈根本不在于"用得熟不熟",而在于"到底有没有发现对的规则"。规则一旦对了,后面证明写起来并不难。
这个对比像是两种不同的技能学习。学骑自行车,光是有人把"保持平衡的物理原理"讲给你听,你还是会摔,因为骑车这件事靠的是身体记忆的反复练习,知道原理和会骑是两回事。可要是学怎么组装一件宜家家具,只要你拿到那份说明书图纸,照着一步步拼就能拼好,组装本身没什么门槛,门槛全在有没有拿到那张对的图纸。AlienCode像骑自行车,AlienLogic像拼家具。这也提示我们,不能笼统地说"探索有没有用",得看这个任务本身的瓶颈在哪一环。
探索这件事,一点都不靠谱
论文的最后一部分数据看得让人有点心凉。
同一个AI系统,用完全相同的预算(工具调用次数、代币消耗)跑三条独立的探索轨迹,结果能差出多大?答案是AlienCode里最大差距达到72.8个百分点,AlienLogic里最大差距21.0个百分点。作为参照,同一条轨迹被反复问同一批题目,答案本身的波动幅度最多只有4.7个百分点。也就是说,探索过程本身的随机性,比回答问题时的随机性大了十几倍。
Kimi K3是个典型案例。它的三条AlienCode轨迹,最终成绩分别落在4.8%和77.6%之间,差了七十多个百分点,而三条轨迹用的工具调用次数几乎完全一样。研究者细挖了原因:两条轨迹在某个关键的作用域规则上判断相反。一条轨迹以为整数字面量在函数体内部要和27做异或,另一条以为要和53做异或。这个判断上的分歧,直接决定了后面涉及索引运算的51道题全部对错。一步走错,后面全盘崩掉。
这个现象让我联想到多米诺骨牌。你推倒第一块牌的角度,哪怕只偏差几度,传导到第五十块牌的时候,偏差已经放大成了完全不同的落点。AI探索一个陌生规则体系的过程,也是这样一环扣一环的,前几步如果对某个基础规则理解错了,这个错误会一直被后续的每一步继承下去,越到后面越难纠正,最终导致两条起点几乎相同的轨迹走向天差地别的终点。
而且更让人意外的是,探索的进步不是匀速的,也不是单向的。研究者发现,大部分系统的准确率提升是靠某一轮突然的大跳跃完成的,这一跳往往占了整体进步的45%到92%,剩下的轮次贡献都很小。有的系统第一轮就跳完了,有的要等到第三轮甚至第四轮才跳。而且,三十条AlienCode轨迹里,有六条最终成绩反而比某个中间的里程碑还低,继续探索居然把自己越探越糊涂了。逻辑证明沙盒里也有三条轨迹出现了同样的倒退。
有个案例特别典型。Gemini 3.8 Flash在AlienLogic里面对一道被设计成"不可能证明"的题目,第一轮探索之后,它三次回答都正确地判断出这题没法证明,并说出了准确的理由。可到了第二轮,它换了个思路,试图用重复引用某个前提的方式绕开限制,系统检测器直接判定这个证明不合法,三次回答全错。更麻烦的是,它还把这个错误的绕开方式写进了自己汇报的规则清单里,当成了新学到的知识。它的准确率就这样从第一轮的63.8%掉到第二轮的52.9%。
写在后面
读到这些倒退的案例时,我想到一件事:我们平时评价一个学习过程,总是默认"学得越多越好",时间越长应该越接近正确答案。但这篇论文里那么多轻信自己新发现的规则、反而把已经答对的题目改错的例子,让我意识到学习曲线从来不是单调上升的,尤其当你面对的是一个你原本以为已经理解、后来才发现理解错了的系统时。
论文里有个细节我印象特别深,就是那个"不给工具调用、只给思考时间"的对照实验。有个系统在没有新证据的情况下,反而把之前根据示范例子推断出的正确规则给推翻了,理由是"观测到的数据不稳定,找不到统一规律"。可它引用的那些"不稳定"的例子,恰恰是它自己在更早阶段已经正确解释过的规律。这说明纯粹的多想,如果缺乏新证据的支撑,有时候不是巩固已有的正确认知,反而是在稀释它,让系统对已经拿到手的正确答案产生自我怀疑。这个反直觉的结果,让我对"多思考总是好事"这个默认假设打了个问号。
如果一个AI系统连自己刚刚证明对的东西都能凭空怀疑掉,那我们该怎么定义它"学会了"这件事?知道规则、说出规则、用对规则,这三者之间还有多远的路要走,这篇论文没有给出答案,但它把这道题摆得足够清楚,清楚到让人没法回避。
Q&A
Q1：ExplorationBench是什么?
A：ExplorationBench是复旦大学、腾讯混元团队和清华大学联合推出的AI基准测试,通过两个规则被人为改动、和常识冲突的"外星世界"沙盒AlienCode和AlienLogic,测试AI系统能否通过自主探索发现新规则并应用到新任务上,而不是靠预训练时记住的知识作弊。
Q2：为什么不能直接用数学题或编程题测试AI的探索能力?
A：因为这类题目的答案很可能已经存在于AI训练时读过的数据里,AI表现好可能只是记住了类似解法,而不是真的通过探索学会的。ExplorationBench故意设计和常识冲突的规则,让AI没法靠回忆过关,必须真正试错才能摸清规则。
Q3：AI在这些外星世界里表现怎么样?
A：探索前,AI在AlienCode里正确率不超过15.7%;经过四轮自主探索,最好成绩能冲到87.6%。但不同系统之间差距很大,同一系统跑三次相同预算的探索,最终成绩也可能相差七十多个百分点,说明当前AI的探索能力还很不稳定。
