你有没有过这样的经历:刚摸清一个新用的App的操作逻辑,结果它悄悄更新了,按钮位置全变了,你却还在按老路子点来点去,直到连续失败好几次才反应过来"哦,它变了"。
这篇论文讲的就是这件事,只不过主角换成了AI智能体。
一群来自香港科技大学、UIUC、CUHK等机构的研究者们,搞了一个叫AdaExploreBench的测试平台,专门考验大语言模型在陌生又会变化的环境里,到底能不能既主动摸清规则,又在规则悄悄改变后及时察觉并调整。结果挺让人意外:就连号称最强的GPT-6 Sol,面对这个考验也只能拿到61.9%的校准准确率。这个数字放在今天的大模型评测里,算是相当刺眼的低分了。
先说说这件事到底难在哪
现在的大语言模型智能体越来越多地被扔进各种陌生环境里工作,订票、查资料、操作系统,很多时候环境信息并不会主动摆在它面前,得靠它自己去试探、去收集证据。这种能力论文里叫**主动探索**
主动探索:智能体自己决定什么时候该去试探环境、试探什么内容、试探到什么程度,而不是坐等别人把信息喂到嘴边
光会主动探索还不够。真实世界从来不是一成不变的,规则说变就变,而且往往没人通知你。论文把这种能力叫**自适应探索**
自适应探索:智能体能察觉之前学到的东西已经过时了,重新去探索、去修正自己的判断,这件事对所谓的测试时适应特别重要,因为模型部署后面对的情况和训练时往往不一样
问题是,在这篇论文出现之前,几乎没有哪个评测基准真正把这两件事放在一起考验过。研究者们翻遍了现有的十几个相关工作,发现大多数评测要么直接把证据喂给模型(InductionBench、HERO'S JOURNEY这类),要么环境压根不会变(RULEARN、NewtonBench等),要么证据会从环境里"泄漏"出来,模型根本不用费劲去找就能拿到关键线索(比如RULEARN就有这个问题)。这就好比考学生解题能力,却提前把答案抄在草稿纸边上,考出来的分数根本说明不了学生真实水平。
研究团队于是决定自己动手,做一个真正干净、真正有挑战性的测试场。
这个世界是怎么搭建的
AdaExploreBench的核心设定是:有一套隐藏的规则,决定智能体在某个场景下该采取哪种干预动作。
具体来说,每个场景会给出一堆数值字段,比如某个生产调度任务里的"剩余工时""产线吞吐趋势""设备恢复时长"等等。智能体要在四个动作里选一个,从"保持现状"到"强力介入"程度逐步加大。这套规则到底看哪些字段、往哪个方向起作用,一开始对智能体是完全不透明的,它得靠自己去试。
规则的形式分成四大家族。**加性规则**是把各个相关因素加权求和,一个因素强可以弥补另一个因素弱,类似综合评分制。**合取规则**要求所有条件都必须满足,一票否决,哪怕九十九个条件都好,有一个不达标也不行。**析取规则**正好相反,只要有一个条件足够强就能拍板,剩下的因素弱点无所谓。**优先级规则**则像是按照固定的优先顺序逐个检查,先看第一个因素,不够决定性再看第二个,依次类推。
这四种规则家族不是研究者随便拍脑袋想出来的,而是借鉴了决策心理学里关于人类如何做判断的经典理论。换句话说,这不只是给AI出的一道数学题,它模拟的是现实世界里真实存在的几种决策逻辑类型。
更关键的设计在于规则漂移这件事。
在动态场景里,经过几轮评估批次之后,系统会悄悄替换掉一个相关因素,同时把另一个因素的作用方向反转过来,比如原本"线路吞吐量趋势为负"意味着要加强干预,变化后可能反过来,正值才意味着需要干预。而且这个变化绝不会提前打招呼。
这就好比你开了很多年车,熟悉某个路口的红绿灯节奏,结果市政部门某天重新规划了信号灯配时,而你完全不知情,还是按老习惯一脚油门冲过去。如果不设计这种"无预警"的变化,那整个测试就失去了意义,因为现实世界里的规则变化从来不会贴告示通知你。正是这种突如其设计,才能真正检验出一个智能体是靠死记硬背熟悉的套路走,还是真的在持续观察、持续验证。
为了让所有参赛的模型,不管探索欲望强弱,都有机会发现规则漂移,评估案例是分批小批量呈现的。智能体可以通过继续探索或者观察自己表现下滑这两种方式来察觉变化,这也让研究者能画出一条贯穿整个交互过程的表现曲线,用来做更细致的分析。
整套基准最终包含256个评估实例和1000个训练实例,覆盖四个规则家族,而且全程用LLM辅助生成,可以方便地扩大规模,不需要大量人工标注。
八个大模型,谁交了什么样的答卷
研究团队挑了八个当前比较领先的模型来测试,既有闭源的GPT-6 Luna、GPT-6 Sol、Gemini-3.8-Flash,也有开源阵营的DeepSeek-V4.1-Flash、Gemma-4-12B、Llama-3.1-8B、Qwen3.5-9B和Qwen3.8-27B,参数规模跨度不小。
评测用了两个核心指标。**精确准确率**
精确准确率(EA):只有智能体选中了收益最高的那个动作才算分,严格打分
**校准准确率**
校准准确率(CA):给次优选择也算一部分功劳,而且经过校准,随机瞎选的策略期望得分是0分,最优策略能拿满分,这个指标比精确准确率更能反映决策质量的细微差别
结果呢,表现最好的Gemini-3.8-Flash也只拿到67.25%的校准准确率,精确准确率69.47%。这意味着即便是最强的模型,每10次决策里也有3次左右没选到最好的方案。表现最差的Llama-3.1-8B校准准确率只有8.13%,基本上跟瞎猜差不多。
更值得琢磨的是精确准确率和校准准确率之间的差距。对于前三名模型,这个差距大约是2到5个百分点,但对剩下那些模型,差距一下扩大到8到22个百分点。这说明弱模型不光是更容易选错,而且一旦选错,损失的收益往往更大,犯的错误更"离谱"。
探索得多不等于做得好
这个发现挺反直觉的。按常理想,一个模型花更多功夫去试探环境,收集更多证据,理应表现更好才对。
数据却不是这样。DeepSeek-V4.1-Flash平均每个场景发出113次独特探测,是Llama-3.1-8B的24倍左右,但它的校准准确率(52.87%)反而比Gemini-3.8-Flash(67.25%)和GPT-6-Sol(61.87%)都低。Gemini-3.8-Flash用更少的探测次数(88次左右)反而拿到了最高分。
这就好比两个学生准备考试,一个把教材翻来覆去看了十遍,笔记记得密密麻麻,另一个只看了三遍但抓住了重点,结果后者考得更好。探索的数量从来不是问题的全部,探索的质量才是。如果只靠堆探测次数去弥补判断力的不足,那就像是指望靠多熬夜来弥补没掌握解题方法,熬得再多,考试照样栽跟头。
这个发现延伸到规则变化之后的重新验证环节也成立。DeepSeek-V4.1-Flash在规则漂移后重新探测之前问过的点的次数(16.04次)远超另两个强模型,结果适应表现(变化识别率44.52%)照样不如GPT-6-Sol(47.56%)和Gemini-3.8-Flash(63.68%)。研究者由此得出一个挺扎实的结论:仅仅测量交互次数,没法真正衡量一个智能体探索能力的高下,真正重要的是它能不能挑对该问的问题。
能不能发现规则变了,才是分水岭
研究团队进一步追踪了两个"适应能力"指标。**因素识别**
因素识别:智能体能不能准确说出哪些字段真正影响决策结果,用预测的相关因素集合和真实集合算F1分数
**变化识别**
变化识别:规则漂移被拆解成一组原子变化,比如"某因素被替换""某因素方向反转",再衡量智能体从前后两次评估里推断出的变化和真实变化的重合度
数据显示,按校准准确率排名前四的模型,在变化识别上的排名完全一致。而剩下那些模型,变化识别率最高也就13.8%,校准准确率也相应更低。这种对应关系比探索量和最终表现之间的对应关系要紧密得多。
四个诊断实验揭示的真相
光看主实验的结果还不够说明问题,研究者又设计了三个对照实验,分别剥离出不同的干扰因素,看看到底是什么在拖累模型的表现。
第一个叫稳态设置,就是去掉规则漂移,规则全程不变。结果显示,平均而言,去掉规则漂移能让校准准确率提升6.2个百分点,其中DeepSeek-V4.1-Flash提升幅度最大,高达14.7个百分点。但最弱的几个模型提升幅度不到1%,说明规则漂移只是对那些本来就有基本学习能力的模型才构成真正的阻碍,连最基本的规则都学不会的模型,去不去掉漂移对它都没太大意义。
第二个叫证据充分设置,不用智能体自己费劲去探索,直接把评估批次的信息全部摆在它面前。七个模型里有六个表现提升,四个提升超过15个百分点。这个发现很关键,它说明大多数模型的瓶颈根本不在于"学不会",而在于"自己找证据的能力太弱"。它们擅长在拿到充分证据后做出正确判断,却不擅长主动去挖出这些证据。
有意思的是,Qwen3.8-27B反而在这个设置下表现变差了。研究者分析发现,这个模型在证据充分供给的情况下反而大幅削减了自己的探索努力,结果规则一旦悄悄变了,它还死守着一开始拿到的、已经过时的证据不放,不去重新验证,结果反倒被过时信息带偏了方向。这就像有人一开始查好了地图路线,结果中途道路施工改道了,他却压根没想起来该再看一眼导航,一路按老地图走到死胡同里。
第三个是强制探测设置,强行要求智能体每个窗口都必须去探测一定数量的案例。这招直接把所有模型的探测次数都拉高了,从平均33.9次涨到53.8次,最不爱探索的模型涨幅甚至有两到五倍。可结果呢,平均校准准确率反而下降了2.0个百分点。
这个结果几乎是当头一棒。它说明就算强行逼着模型多去探索,也无法弥补它本身"不知道该探什么"的根本短板。真正缺的不是探索的意愿或数量,而是探索的方向感,也就是能不能选出真正有信息量的探测案例。这就像让一个找不到问题根源的工程师拼命多排查几遍机器,排查次数再多,如果每次都检查错地方,问题照样找不出来。
规则漂移发生的瞬间,表现断崖式下跌
研究者还画了一条以规则漂移为对齐点的表现曲线,横跨变化前后各六七个评估批次。
六个表现在随机基线之上的模型,在规则刚变化后的第一个批次,平均损失了26.9个百分点的校准准确率,而且这个下跌全部具有统计显著性。更让人沮丧的是,即便到了episode结束前的最后两个批次,这六个模型依然比变化前的巅峰水平低了6.9到19.2个百分点,没有一个模型真正"满血复活"。Llama-3.1-8B甚至一路跌到最终只剩1.3%,研究者推测可能是长上下文下的某种性能衰减。
这个数据揭示的事实挺重要:规则变化不是一次短暂的小插曲,而是会在整个后续交互轨迹里留下长久的伤疤。
重新探测确实有用,但不是万能药
研究团队还做了一个相关性分析,发现在单个模型内部,重新探测次数和变化识别能力之间存在显著正相关,而且这个关系在用探测次数做归一化处理之后依然成立。这说明重访之前探测过的点,确实能帮模型发现"咦,这次结果不对劲",进而推断出规则变了。
但是跨模型比较时,这个关系却变得不显著了。换句话说,重新探测的次数多,并不一定意味着这个模型就比另一个模型更擅长适应变化,这更多反映的是不同模型本身探索总量的差异,而非验证效率的高下。真正拉开差距的,是模型能不能有效地从重新探测获得的证据里读出"规则变了"这个信号,而不只是机械地多问几次。
精确率高、召回率低,暴露的是什么问题
论文里还有个细节特别值得拿出来说一说。研究者统计了因素识别和变化识别两个指标各自的精确率和召回率,发现几乎所有模型都是精确率明显高于召回率。
这意味着模型倾向于报告一个"基本正确但不完整"的规则理解。它可能找对了部分相关因素,却漏掉了其他同样重要的因素;或者正确识别了规则替换,却完全没察觉到方向反转这件事。论文统计发现,在36.3%符合条件的场景里,模型在规则变化前后给出的因素评估竟然一模一样,完全没有更新。GPT-6-Luna和Qwen3.8-27B在这方面问题尤其突出,分别有65.6%和54.2%的场景出现了这种"原地踏步"的现象。
更细致地拆解到原子变化层面会发现,所有模型都更擅长识别因素替换,却普遍不擅长识别方向反转。在场景层面统计,模型识别出两个替换但漏掉反转的情况占17.7%,而反过来的情况只有4.1%。这背后的原因不难理解:识别替换只需要发现"这个因素不再重要了,那个因素变重要了",而识别反转需要模型同时正确推断出变化前后两种截然不同的因果方向,这对已经形成的固有认知是更大的挑战。
研究者给出的解释是,这反映出一种假设持续症。模型一旦在心里形成了一套"看起来说得通"的规则解释,就倾向于固守下去,不太愿意主动去质疑和挑战自己已经建立起来的理解,哪怕证据已经和这套理解对不上了。
这篇论文留下的,不只是一个分数
AdaExploreBench给出的这套评测体系,构建管线是完全自动化、可扩展的,研究者还额外放出了一个1000个场景的训练集,供后续训练方法使用。
从方法论角度看,这篇工作最有价值的地方,是它把"主动探索"和"面对变化及时适应"这两个原本分散研究的能力,第一次系统性地放在同一个评测框架里拷问。此前的工作要么只关注静态环境下的规则归纳,比如InductionBench和HERO'S JOURNEY;要么关注动态适应但证据获取方式是被动的,比如AdaPlanBench和PlanBench-XL。AdaExploreBench把两条线真正缝合到了一起,并且严格杜绝了信息泄漏的问题。
写在后面
读这篇论文时,最触动我的其实不是那些具体的百分比,而是"强制探测设置"那个反直觉的实验结果。直觉上我们都会觉得,让AI多问几个问题总归是好事,多总比少强。但数据直接把这个假设打碎了:探测次数翻倍,表现反而下降了2个百分点。
这提醒了我一件事,我们平时评判一个人或一个系统是否"努力探索",很容易只盯着表面的行动量,比如发了多少消息、查了多少资料、开了多少会,却忽略了真正决定结果的是这些行动有没有问对问题。一个每天加班到深夜但方向错了的员工,和一个准时下班但抓得住关键信息的员工,前者的"努力"反而可能是一种自我安慰式的表演。
还有一个细节让我反复琢磨:模型在规则变化后识别"替换"比识别"反转"容易得多。这种不对称性其实很像人类认知里的一种偏见,我们更容易接受"有新东西出现了",却更难接受"我原来坚信的东西是反的"。前者是信息补充,后者是信息颠覆,大脑处理起来的代价完全不一样。这个发现让我忍不住想,当AI智能体越来越多地被部署在真实世界持续运行时,这种"宁可信息不全也不愿推翻旧有判断"的倾向,会不会在某些高风险场景里酿成更隐蔽的问题。
这篇论文没有解决的问题也很明确:目前的规则漂移只局限在同一个规则家族内部的因素替换和方向反转,跨家族的变化、更剧烈的变化幅度,这些都还没被测试过。真正的世界,变化往往比论文里设计的场景要混乱得多。
一个每天自称"熟悉规则"的AI智能体,到底要经历多少次悄无声息的失败,才会真正学会怀疑自己?
Q&A
Q1:AdaExploreBench是什么?
A:AdaExploreBench是一个专门测试大语言模型智能体能否主动探索陌生环境规则、并在规则悄悄发生变化后及时察觉和调整的评测基准,包含256个评估实例和1000个训练实例,覆盖四种不同的决策规则类型。
Q2:为什么大模型在这个测试里表现这么差?
A:实验发现问题主要不在于模型学习能力不足,而在于它们不擅长主动收集高质量证据,也不擅长在规则变化后及时发现并修正自己的判断。给模型充分证据时表现能提升近10个百分点,但强行让模型多探索却几乎没有帮助。
Q3:探索次数多是不是就代表适应能力强?
A:不是。数据显示探索次数和最终表现之间没有稳定的正相关关系,比如DeepSeek-V4.1-Flash探测次数最多却没拿到最好成绩,真正决定表现高低的是探测的质量和针对性,而不是数量。







