Token导航 LogoToken导航

AI 资讯 · 科技行者

AI智能体评测环境可自动增加难度

更新 2026-11-19科技行者正文 5495字阅读约 18分钟

你有没有想过,为什么现在很多AI模型跑分越来越高,但真正用起来的时候,还是会在一些意想不到的地方翻车?

这背后藏着一个很尴尬的事实。我们评测AI智能体(能自主执行任务的AI系统,比如帮你订机票、整理财务报表、修复代码bug的那种)的方式,其实一直在偷懒。研究者想让测试变难,通常的做法就是多造几个任务,多编几条轨迹,多塞几个工具。听起来合理,但问题是,这样一来,测试到底是在考验AI的什么能力,反而说不清楚了。任务变复杂了,是因为逻辑更绕,还是因为可用的工具变多了,还是因为题干本身写得更刁钻了?这些因素全部搅在一起,谁也分不清谁的贡献。

这就像你想知道一个学生数学到底学得怎么样,结果出的卷子里一半是数学题,一半混进了语文阅读理解和体育测试,最后算总分。学生考砸了,你压根不知道是数学没学好,还是语文拖了后腿。

这篇来自电子科技大学、香港科技大学等多所高校团队的论文,提出了一个叫**RES(Recursive Environment Scaling,递归环境扩展)**的框架,思路挺反直觉的:不去改任务本身,而是去改任务所在的“环境”。

环境在这里特指AI智能体执行任务时能接触到的资源、信息获取路径、操作之间的依赖关系,简单说就是“干活的那个世界长什么样”。

目标不变,玩法变了

先说清楚RES到底在干什么。

假设有一个任务:整理三份不同来源的财务记录,找出对不上账的地方,出一份对账报告。这个任务的核心目标是固定的,匹配交易、发现差异、产出报告,这三件事永远不变。

但是,在原始环境里,AI能直接读取三个CSV文件,三下五除二就能拿到所有数据。RES做的事情是,在保留“最终必须交出合格对账报告”这个硬性要求的前提下,悄悄把获取这些数据的路径变复杂。比如第一轮改造后,AI不能直接读文件了,得先做一次关联查询,再走一道导出准备流程,才能看到数据。第二轮改造在第一轮基础上继续叠加,加入归档、索引重建这些额外步骤。

这个过程是**递归**的,意思是每一轮的改动都建立在上一轮已经被验证通过的改动基础上,层层叠加,而不是每次推倒重来。

论文里有一个具体案例特别能说明问题。在Claw-Eval-Live这个基准测试里,一个叫A01的财务对账任务,原始环境下DeepSeek-V4.1-Flash只需要调用3次工具就能完成,得分0.98分(满分1分)。经过RES改造之后,同样的任务,同样的模型,调用工具次数飙升到171次,而且最后得分直接归零,因为它在50轮对话限制内还在忙着找数据,根本没空写报告。

任务要求一个字都没变,AI却从几乎满分变成交白卷。

这就是RES想做的事情:把“任务本身有多难”和“环境有多绕”这两件事分开看。如果你不这么做会怎样?你永远没法知道AI失败是因为它逻辑推理能力不行,还是因为它在一堆弯弯绕绕的信息迷宫里转晕了。这两种失败需要完全不同的改进方向,混在一起谈,改进方向就会跑偏。

谁来出题,谁来判卷

RES的运作机制,拆开看其实是三个角色在打配合。

第一个角色叫**提议者(Proposer)**,论文里用GPT-5.6 Sol担任,负责观察当前这一轮已经被认可的环境,然后设计一套改造方案。这套方案会从三个维度下手:改变信息获取的方式,改变资源之间的关联关系,改变操作之间谁先谁后的执行顺序。

第二个角色是**构造执行**,把提议者画的蓝图真的落地,生成一个候选环境。

第三个角色是**验证器**,这是整个框架里最关键的把关人。验证器会在一个全新的会话里,完全不依赖之前的记忆,重新走一遍公开的操作路径,看能不能把原本需要的信息、文件、数据重新拿到手。如果验证发现有记录丢失、引用失效、前置条件没被满足,这个候选环境就直接被打回去,提议者得回去修改方案重新提交。

这个验证机制特别像什么呢?有点像你搬家之后,把贵重物品重新整理放进了新柜子,贴上了新标签。如果你随便一塞就算完事,那半年后你自己可能都找不到东西放哪了。验证器做的事情,就是逼着每一次“搬家”之后,都要有人拿着清单重新走一遍流程,确认东西真的还在,路也走得通,而不是账面上写着“已完成”就糊弄过去。如果没有这道独立重放的验证关卡,递归扩展很可能会越滚越离谱,改到后面环境本身就已经逻辑不自洽了,AI答不上来都不知道是真的难还是环境本身就是个烂摊子。

只有通过验证的候选环境,才会被正式接纳为下一轮的“父环境”,继续往后叠加改造。这个过程最多可以进行十轮,每轮的改动都会被记录保留,原始环境和最后一轮被接纳的环境,都会被独立拿去给评测模型打分。

六个模型,全军覆没

光讲原理有点空,直接看数据更有冲击力。

研究团队用这套RES框架,在三个基准测试(Claw-Eval-Live、Workspace-Bench-Lite、Terminal-Bench 2.1)上,对六个主流大模型做了对照测试:DeepSeek-V4.1-Flash、GPT-5.6 Sol、Claude Opus 5、GLM-5.2、Qwen3.8-Max、Kimi K3。

结果是,十八组“模型-基准”对比,全部出现成功率下降,一个没落下。

在Claw-Eval-Live上,DeepSeek-V4.1-Flash的任务完成率从82.86%暴跌到5.71%,直接蒸发了超过77个百分点。就连表现相对稳健的Claude Opus 5,也从86.67%跌到28.57%。Terminal-Bench 2.1上降幅最小的也有41.57个百分点。

| 模型 | 基准(Claw-Eval-Live) | 原始环境Pass@1 | RES改造后Pass@1 |

|---|---|---|---|

| DeepSeek-V4.1-Flash | Claw-Eval-Live | 82.86% | **5.71%** |

| GPT-5.6 Sol | Claw-Eval-Live | 85.71% | 26.67% |

| Claude Opus 5 | Claw-Eval-Live | 86.67% | 28.57% |

| GLM-5.2 | Claw-Eval-Live | 80.95% | 23.81% |

这个结果有意思的地方在于,降幅不是集中在某一个模型身上,而是所有六个模型全部中招,说明这不是某个模型特有的短板,而是RES成功找到了一类“所有当前AI智能体都容易被卡住”的共性弱点:信息获取路径的复杂化。

拿改造过的环境练出来的AI,反而更能打

如果RES只是让评测变得更残酷,那它充其量是个“找茬”工具。但这篇论文还往前走了一步:用RES生成的训练数据去微调模型,看看效果怎么样。

研究团队选了Qwen3.5系列的三个不同尺寸的基座模型(4B、9B、35B-A3B),分别用两种数据做**SFT(Supervised Fine-Tuning,监督微调,一种让预训练模型学习特定任务模式的训练方式)**。

一组用原始环境里收集的轨迹数据训练,另一组只用RES改造环境里收集的轨迹数据训练。两组用的样本数量完全一样,优化参数也完全一样,唯一的变量就是训练数据的来源环境。

结果是,九组“模型-基准”对比,RES训练出来的模型全部胜出,胜出幅度在7到14.61个百分点之间。35B-A3B模型在Terminal-Bench 2.1上的提升最夸张,从23.60%直接跳到38.20%,提升了14.61个点。

这个结果乍一看有点反直觉。按理说,原始环境更简单,AI应该更容易学会“怎么完美地走这条简单路径”才对,为什么练难的反而更强?

答案可能和健身房的原理差不多。你如果每天都举5公斤的哑铃,动作会越来越标准,但肌肉力量不会有质的提升。真正让你变强的,是那些让你咬牙才能完成的、稍微超出舒适区的重量。RES改造出来的环境,恰好给AI制造了这种“稍微超出舒适区”的训练信号,逼着模型在复杂信息链条里学会耐心地一步步排查、关联、验证,而不是依赖捷径式的记忆匹配。如果只用原始环境的轨迹训练,AI学到的更像是一种表面的任务套路,一旦环境稍微绕一点,这套套路立刻失灵。

哪个零件最关键

论文还做了一组拆解实验,专门验证RES里哪个设计环节才是真正拉开难度的核心,而不是装饰性的噱头。

第一个实验是把“依赖关系”单独拆出来看。研究者把改造后环境里那些跨操作的引用关系、前置准备步骤全部清除掉,只保留事实数据和改动历史记录。结果,任务通过率从0%直接飙升回100%,平均得分从7.73分涨到92.93分,平均对话轮次从50轮(封顶)掉到19.1轮。

这说明一件事:让AI头疼的根本不是“信息变多了”,而是“信息之间互相缠绕的先后顺序变复杂了”。单纯的信息堆砌AI能扛得住,但环环相扣、必须先做A才能解锁B的依赖链条,才是真正的杀手锏。

第二个实验专门检验“递归继承”这个设计到底有没有必要。研究者设计了对照组:一组是按部就班地递归叠加改造(每一轮都在上一轮基础上继续改),另一组是每次都从最原始的环境出发、独立做改造,改造次数总量对齐。结果递归组的通过率只有6.7%,独立组高达93.3%,相差悬殊。这说明光是零散地往环境里加复杂度是不够的,真正让难度产生质变的,是这些复杂度能不能层层叠加、彼此勾连。

这就好比收拾一个房间。如果你每天都从头开始随便扔几件杂物进去,房间会乱,但乱的程度是线性增长的。但如果你每天的杂物都刻意堆在前一天杂物的基础上,还故意让新杂物挡住旧杂物的出口,那找东西的难度会呈指数级上升。递归继承做的正是后者:让每一次改造都踩在前一次改造的肩膀上,难度不是简单相加,而是复合叠加。

第三个实验是比较改造工具箱的丰富程度。用一个只有6种基础改造手段的精简工具箱,和包含17种手段的完整工具箱做对比,结果精简版通过率80%,完整版只有6.7%。工具箱里手段越丰富,提议者能组合出的刁钻路径就越多,这也符合直觉。

递归深度:越深越难,但不是无限变难

论文还专门测了一件事:递归的轮次(也就是论文里说的“深度”)增加,难度是不是一直线性往下掉?

数据显示,原始环境(深度0)通过率82.9%,一轮改造后(深度1)掉到60%,两轮后(深度2)骤降到17.1%,三轮后7.6%,五轮后3.8%,十轮后反而略微回升到4.8%。

这个曲线挺有意思的,前两三轮下降最猛烈,后面趋于平缓,甚至有轻微波动。这说明难度的提升存在边际效应,不是改得越多就无限变难,到了某个深度之后,环境本身的复杂度已经把AI逼到了能力的天花板附近,再往上加复杂度,边际收益就不明显了。同时,交互成本也跟着水涨船高:平均对话轮次从3.6轮涨到43.2轮,工具调用次数从8次涨到206次,消耗的token量从1.37万涨到262万,涨了接近200倍。

改造一次环境,代价是多少

这套系统跑起来成本高不高?论文给了具体数字。

在Claw-Eval-Live上,RES一共从105个种子任务出发,生成了289个被接纳的子环境。其中92%的子环境只需要1到2次外层提议者调用就能完成,平均每个子环境消耗1.45次调用、8.92万token、112.6秒。换算下来,整个扩展流程一共花了9.04小时的提议者执行时间、2578万token。

这个成本和人工重新编写一个同等难度的全新基准测试相比,显然便宜得多。你不需要从零设计新任务、新评分标准,只需要在现成的、已经被社区认可的基准测试基础上,让AI自己去“加戏”,而且每一步“加戏”都要经过严格的重放验证,不是瞎编。

写在后面

读这篇论文的时候,最让我意外的一点,其实是那个171次工具调用对比3次的案例。同一个任务,同样的模型,因为获取信息的路径被绕了几道弯,结果从接近满分变成交白卷。这不是AI变笨了,是我们原来评测AI的方式太宽容了,一直在用“信息唾手可得”的理想环境考核它,而现实世界里的信息往往就是散落在各种系统、各种权限、各种格式转换之后的犄角旮旯里。

还有一点值得琢磨:用更难的环境训练出来的模型,反而在原始环境上表现更好。这多少印证了一个朴素的道理,见过复杂局面的人,回头处理简单问题反而更游刃有余。这和教育学里"desirable difficulty"(合意难度)的概念隐隐呼应,适度的挑战比舒适区的重复训练更能带来真正的能力迁移。

论文没有解决的问题是,这种递归式的环境改造,会不会在某个深度之后开始脱离现实世界的真实复杂度分布,变成一种"为难而难"的人工陷阱?毕竟现实世界的信息迷宫虽然复杂,但总归是有逻辑可循的,它不是故意设计出来刁难你的。如果AI未来真的能在RES构造的高难度环境里游刃有余,那它面对的是不是依然只是一种"人造的复杂",而不是"真实世界的复杂"?这个界限,可能是下一步需要回答的问题。

Q&A

Q1:RES递归环境扩展是什么?

A:RES是一种让AI智能体评测基准变难的方法,它不改变任务的核心目标和完成条件,只改变任务所在环境的信息获取路径、资源关联方式和操作先后顺序,通过提议、构造、验证三个环节递归叠加改动,让已有的基准测试变得更有挑战性。

Q2:RES改造后的环境真的会让AI表现变差很多吗?

A:是的,论文在六个主流模型和三个基准测试上做了测试,十八组对比全部出现成功率下降。其中DeepSeek-V4.1-Flash在Claw-Eval-Live上的任务完成率从82.86%跌到5.71%,降幅超过77个百分点。

Q3:用RES生成的数据训练AI模型有用吗?

A:有用。研究团队用RES改造环境里收集的轨迹数据微调Qwen3.5系列模型,和用原始环境数据训练的模型对比,九组测试全部是RES训练的模型胜出,提升幅度在7到14.61个百分点之间,35B模型在Terminal-Bench上提升最明显。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。