Token导航 LogoToken导航

AI 资讯 · 科技行者

中科院发布RuleTrek:AI智能体如何应对真实世界规则迷宫

更新 2026-11-18科技行者正文 5438字阅读约 17分钟

你有没有算过税?

如果算过,你大概会记得那种感觉:面前摊着工资单、房贷利息证明、社保缴费记录、还有一堆你根本看不懂的税收条文。你得先搞清楚自己算不算"税务居民",再确定哪些收入要申报,然后去找对应的扣除项,最后套用税率表算出最终该交多少钱。整个过程里,信息散落在五六个不同的文件里,规则又藏在几十页的政策文档中,稍微漏看一条,结果就全错了。

现在把这件事交给AI,它能做好吗?

这正是中科院自动化所团队在一篇新论文里提出的问题。他们给这个问题起了个名字,叫RuleTrek,一个专门用来测试AI智能体能不能在复杂场景里找对规则、用对规则的基准测试。结果相当打脸:目前最强的大模型,在这类任务上的得分也只有五六成,很多时候还不如抛硬币靠谱多少。

**问题出在哪?先看看过去的测试有多"简单"**

要理解RuleTrek为什么重要,得先知道过去的规则推理测试长什么样。

论文里举了个例子。一个经典的测试叫RuleTaker,给AI的场景是这样的:

> 规则:税务居民必须申报境内外全部收入;税务居民可以从总收入中扣除5000美元的标准免税额。

场景:Emma在2025年在该国待了200天,赚了6万美元的国内工资。

问题:Emma算2025年度的税务居民吗?

你会发现,规则就两条,场景就两句话,答案几乎是一眼就能看出来的:200天超过183天的门槛,所以是税务居民。这种题目考的是AI会不会做简单的逻辑匹配,而不是考它能不能在真实世界里摸爬滚打找出答案。

这就好比教人开车,只在空荡荡的停车场里练习倒车入库。练得再熟,到了真实的早高峰车流里,照样手忙脚乱。规则推理测试*:评估AI模型能否根据给定规则,对特定场景做出正确判断的测试任务,侧重考察逻辑推导能力。

如果一直只在"停车场"里测试,会发生什么?会发生的是,AI在这些简化测试上刷到了95%以上的高分,给人一种"规则推理已经被解决了"的错觉。但一旦场景变得像真实税务申报那样,信息散落在多个Excel表格和Word文档里,规则本身又有几十条互相嵌套、互相依赖,AI立刻就露了馅。这就是RuleTrek团队想要揭穿的假象。

**RuleTrek到底在测什么?三道关卡,层层递进**

RuleTrek不是凭空捏造场景,而是扎根在六个真实领域:税务、PostgreSQL数据库管理、网络安全、软件策略、政府采购、还有桌游规则(比如龙与地下城5版规则)。这些领域的规则文件全部来自真实世界的开源仓库,比如美国国税局的税务计算系统、NIST的网络安全标准、PostgreSQL官方文档等等。

规则图*:论文中用来表示一组规则及其相互关系(比如依赖、例外、优先级)的结构化图谱,节点是具体规则,边是规则之间的逻辑联系。

针对每个领域,研究者先让一个大模型从原始规则文档里提取出一张"规则图",然后由人工专家逐条核对,确认提取的规则和依赖关系准确无误。这一步很关键,因为后续所有的测试场景都要基于这张经过人工验证的规则图来构建,保证场景是"可解的",不会出现无解或者有歧义答案的情况。

有了规则图之后,RuleTrek设计了三个层层递进的能力测试,分别叫规则识别、规则推演、端到端推理。

第一关是规则识别。给AI一堆原始规则文档和一个具体场景,不告诉它哪些规则是相关的,让它自己去文档堆里翻找出需要用到的规则,以及这些规则之间的依赖关系。这一关测的是"找规则"的能力,不要求AI给出最终答案。

第二关是规则推演。这次研究者把经过验证的规则图直接喂给AI,相当于已经帮它把相关规则都整理好了,AI只需要专心把场景里分散的信息整合起来,套用规则算出正确答案。这一关测的是纯粹的"用规则"能力,排除了"找规则"的干扰。

第三关是端到端推理,也是最难的一关。这次什么都不给,AI必须自己从原始文档堆里找出规则,同时整合场景信息,最后给出答案。这相当于把前两关的能力叠加在一起考。

这个设计思路其实很像体育考核里的分项测试。如果你想知道一个篮球运动员到底是投篮不准还是跑位有问题,你不会只看他比赛的最终得分,而是会分别测试他的定点投篮命中率和无球跑动能力。只看最终得分,你永远不知道问题出在哪个环节。RuleTrek正是把"找规则"和"用规则"拆开测,这样才能精准定位AI到底卡在哪一步。

**场景是怎么"做"出来的?一块一块地拼**

这里有个很巧妙的设计,叫作"基于规则的场景构建流水线"。

直接让AI凭空生成一个包含十几条规则的复杂场景,会出现什么问题?规则之间互相打架、场景里的数字对不上、关键信息缺失导致题目无解。这些问题几乎是必然会发生的,因为生成复杂场景本身就是一件高度依赖细节一致性的工作。

研究团队想出的办法是化整为零。

子场景*:针对规则图中单个规则量身定制的小型独立场景,场景里只包含验证这一条规则所需的最少信息。

他们先给规则图里的每一条规则单独生成一个小场景。比如针对"居住满183天算税务居民"这条规则,就生成一张记录某人每年在境内居住天数的Excel表格。这个小场景足够简单,只服务于验证这一条规则,不会牵扯到其他规则,人工审核起来也容易,确保每个子场景本身没有逻辑漏洞。

然后,研究者按照规则图里标注的依赖关系,把这些小场景一步步"焊接"在一起,形成一个越来越复杂的综合场景。每焊接一次,就要重新检查一遍:新加入的信息有没有和原来的场景打架?人名对不对得上?日期有没有冲突?数字单位统不统一?这个综合场景在现有规则下还能不能解出唯一答案?

这个过程特别像搭积木,但不是随便搭的积木,而是每加一块都要用水平仪校准一次的那种。如果你一次性把十几块积木全部叠在一起再去检查哪里歪了,几乎无从下手,因为你根本不知道是哪一层出的问题。但如果每加一块就检查一次平衡,出问题立刻就能找到是哪一步出错,及时修正。如果不这样一步步校验,直接整体生成复杂场景,论文里提到的人工验证通过率可能会从最终的100%跌到初审时的76.7%,返工成本会高得多。

经过这套流水线,RuleTrek最终构建出240个测试实例,分布在六个领域,每个领域30到48个实例不等。这些实例对应的规则图平均有9.05个节点、8.69条边,平均深度2.69层。深度*:规则图里最长的那条依赖链条有多少步,深度越大,说明一条规则要正确应用,往往需要先搞清楚前面好几层的规则才行。

**十一个顶尖大模型考下来,成绩怎么样?**

研究团队把GPT-6.1-Sol、Grok-4.7、DeepSeek-V4系列、GLM-5.3-Flash、Gemini系列等11个当下最前沿的大模型全部拉来做了这套测试。

规则识别这一关,表现最好的是GPT-6.1-Sol,只拿到62.47%的平均分。排名靠后的Gemini-2.5-Flash甚至只有33.35%,还不到及格线的一半。这说明,就算只是"找出相关规则"这一步,对AI来说都已经相当吃力了。

规则推演这一关,就算把整理好的规则图直接喂给AI,表现最好的还是GPT-6.1-Sol,但得分也只有60.43%。这个数字很值得琢磨:即便规则已经摆在眼前,AI依然有接近四成的概率算错。这说明问题不只是"找不到规则",更在于"就算找到规则也未必能正确套用"。

端到端推理的分数区间更惨,从26.97%跨到55.29%。这意味着在最接近真实应用场景的测试里,表现最好的模型正确率也勉强过半,而表现差的模型,十次里有七次以上都会出错。

| 模型 | 规则识别 | 规则推演 | 端到端推理 |

|---|---|---|---|

| **GPT-6.1-Sol** | **62.47** | **60.43** | **55.29** |

| Grok-4.7 | 61.86 | 56.12 | 51.34 |

| DeepSeek-V4.1-Flash | 59.21 | 56.39 | 50.06 |

| GPT-5.5 | 60.20 | 52.57 | 45.47 |

| Gemini-2.5-Flash | 33.35 | 35.26 | 26.97 |

这张表格里有个细节值得多看一眼。规则推演的分数普遍比端到端推理高出3.79到8.15个百分点,这个差距就是"找规则"这个环节单独造成的损失。换句话说,光是从一堆原始文档里精准揪出适用的规则,就足以让AI的整体表现掉一大截。

**规则越复杂,AI越容易翻车**

论文还做了一个特别直观的分析:规则图的复杂程度和AI表现之间的关系。

当规则图只有3个节点以内的时候,11个模型的平均端到端得分是76.5分,相当不错。但当规则节点数量增加到14个以上时,这个分数直接跌到23.6分。同样的趋势也出现在规则图的深度上:依赖链条只有1层的时候平均得分62.3,依赖链条达到5层以上时只剩26.4分。

这个趋势其实挺符合直觉,但数字的下跌幅度还是让人有点惊讶。规则节点越多,意味着AI要同时追踪的"活跃规则"越多,稍微漏掉一条就全盘皆输;依赖链条越深,意味着要正确应用最后一条规则,前面必须先对好几步都做对,错一步就全错。这就像多米诺骨牌,牌越多、排列越密,只要有一张没倒对方向,后面的连锁反应就全乱了套。

**AI到底错在哪?四类典型翻车现场**

论文作者专门分析了GPT-6.1-Sol在端到端任务里失败的具体原因,把错误归为四类:没找到关键证据、找错了适用规则、规则套用算错了、最后答案整理出错。统计下来,"找错了适用规则"这一类占了失败案例的54.9%,是绝对的头号杀手。

这里有个具体案例特别能说明问题。在一个关于网络安全的测试里,AI能识别出一般性的防火墙要求,却漏掉了针对特定条件的精细化远程访问控制规则。在一个税务场景里,AI知道怎么计算最终税额,却漏掉了一条看似不起眼的"数据加载和税务年度初始化规则",这条规则其实是后续所有计算的前提。在一个桌游规则场景里,AI把"快速移动"和"缓慢移动"这两条看起来很像但适用条件完全不同的规则混为一谈。

这些错误背后其实是同一个问题:规则和规则之间常常长得很像,但适用的前提条件天差地别。

打个比方,这就像你去药店买药,说明书上写着"成人每次2片,儿童每次1片"。乍一看这是一条规则,其实是两条适用条件完全不同的规则被写在了一起。如果AI没有仔细分辨"成人"和"儿童"这两个限定条件,直接套用"每次2片"给所有人,后果可想而知。规则识别考验的正是这种分辨细微差别的能力,而这恰恰是现在的大模型最薄弱的环节。

论文里还给出一个特别鲜活的对比案例。在一个救援场景测试里,有一条规则是"死亡守护":角色第一次掉血到零时会被保护一次,变成1点血,而这个保护效果会在触发后消失。GPT-6.1-Sol正确识别出保护只触发一次,后续事件按照更新后的状态继续推理,最终用34步得到了满分。而Qwen3.8-Flash虽然也找到了同一条规则,却在推理过程中误以为这个保护效果一直有效,导致后续的死亡判定全部算错,跑了57步却得了零分。

这个对比揭示的问题不是"找没找到规则",而是"找到规则之后,能不能正确追踪场景状态的变化"。规则就像一张地图上的一个路标,光看到路标没用,你还得记住自己走过了哪些路、现在身处何方。如果不持续更新这个"位置感",哪怕每一步看的路标都是对的,最后也会走错方向。

**生成更长的回答,就能算得更准吗?**

论文里还有一个反直觉的发现。研究者统计了各个模型平均每个任务生成的输出token数量,和最终端到端得分做对比,结果发现两者几乎没有相关性。有些模型生成的内容又多又啰嗦,得分反而比那些简洁高效的模型低。

这打破了一个常见的直觉误区,很多人会下意识觉得,AI想得越多、写得越详细,答案就应该越靠谱。但这次的数据说明,真正决定成败的不是思考过程的"长度",而是思考过程里有没有抓住关键信息、有没有用对规则。这就好比考试时写满整张答题纸未必能得高分,如果思路从一开始就走偏了,写得再多也只是在错误的方向上越走越远。

**这套打分靠不靠谱?他们专门验证了一遍**

一个值得称赞的细节是,研究团队没有想当然地相信AI裁判的打分结果,而是专门找了人类专家做交叉验证。

人类专家和AI裁判之间的打分相关系数在0.822到0.857之间,而两个人类专家互相之间的相关系数在0.933到0.951之间。这说明AI裁判打分确实有一定的参考价值,但和人类专家之间还是存在一定差距,没有完全对齐。

为了排除AI裁判自身可能带有的偏见,研究者还专门换了另外两个不同家族的大模型(GLM-5和Gemini-2.5-Pro)重新打一遍分,结果显示打分的排名相关性能达到0.955到0.991,说明不同裁判模型之间对"谁更强谁更弱"的判断是比较一致的,只是具体分数会有些许出入。

Q&A

Q1:RuleTrek是什么?

A:RuleTrek是中科院团队提出的一个多领域基准测试,专门用来评估AI智能体在复杂真实场景中识别和应用规则的能力,涵盖税务、数据库、网络安全、软件策略、政府采购和游戏规则六大领域。

Q2:RuleTrek测试结果显示AI表现如何?

A:11个前沿大模型在规则识别和规则推演任务上的最高得分仅为62.47%和60.43%,端到端推理得分在26.97%到55.29%之间,说明当前AI在复杂规则推理上还存在明显短板。

Q3:RuleTrek和以前的规则推理测试有什么不同?

A:以前的测试通常只用几句简单事实描述场景,而RuleTrek要求AI从分散在多个文件中的复杂信息里整合内容,并从真实规则文档中识别和应用适用规则,难度更贴近真实世界。

文章标签学术研究

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。