你有没有想过这样一个问题：一个AI客服说"已为您办理退款"，这句话背后到底发生了什么？
它是不是真的查过这笔订单，确认是重复扣款，然后才按下了退款按钮？还是说，它看到用户语气着急,就先把钱退了，核实的事留到"以后"?
这不是杞人忧天。一篇来自新加坡国立大学、香港浸会大学、亚马逊和普林斯顿大学联合团队的最新论文，专门研究了这个问题，而且发现的结果，可能会让你对现在那些"会用工具"的AI助手重新打量一番。
**证据和行动之间，隔着一道看不见的裂缝**
论文的标题叫《从证据到行动：工具使用型智能体是如何失败的》，英文是From Evidence to Action: How Tool-Using Agents Fail。
智能体（Agent）：指能够自主调用外部工具（比如查询数据库、发送邮件、执行退款）来完成任务的AI系统，区别于只能聊天回答问题的传统对话模型。
现在的AI智能体已经不只是回答问题了，它们能发起退款、发送文件、更新数据库记录，甚至触发连锁的业务操作。研究者给这类会改变外部状态的工具调用起了个名字，叫"后果性动作"（consequential actions）。
这类动作一旦执行，覆水难收。退款发出去了，邮件发出去了，设备被远程关闭了，这些都不是"撤回"两个字能解决的。所以论文提出一个核心主张：判断一个AI动作做得对不对，光看结果是不够的，还要看它在动手之前，到底有没有把该查清楚的事情查清楚。
论文开篇举了一个例子特别直白。假设你让AI客服去处理一笔重复扣款的退款请求，正确流程应该是：先确认这笔订单号，再核实它确实是重复扣费，然后检查退款条件是否满足，最后才执行退款并通知客户。
但研究者发现一种诡异的情况：AI可能调用了正确的工具，填对了金额，系统也返回"退款成功"，整个流程看起来完美无缺，可它核实的那张订单，压根不是要退款的那一张。它查的是C1号订单的信息，退的却是C2号订单的钱。数字凑巧对上了，但这根本不构成"证据支持这个动作"。
这就好比你去银行柜台办业务，柜员看了一眼隔壁窗口顾客的身份证，确认"信息没问题"，然后给你办了业务。如果柜员压根没查你的证件，这笔业务的合法性从何谈起？哪怕最后账户余额变动是对的，这个流程本身就是在走钢丝,全凭运气没出错，而不是靠核实出的确定性。如果不这样较真,后果是什么?是系统可能在十次里有九次蒙对,但第十次,退错了账户,钱打给了陌生人,而日志上记录的却是"验证通过,执行成功"——整个追责链条从根上就是假的。
**一场横跨六大场景的"考试"**
为了把这种"看起来对、实际上没支撑"的问题量化出来，研究团队搭建了一个叫SAFEACTBENCH的评测基准。
基准（Benchmark）：指为测试AI系统某项能力而专门设计的标准化任务集合，相当于给AI做的一套"标准化考题"。
这套考题一共有656道题，横跨客服与政策、工程运维、法务财务、科研助理、智能家居、医疗运营六大领域,试图模拟AI智能体在真实世界各种场景下可能遇到的任务。
更关键的是，这套题目不是只考一种难度，而是设计了五种"协议"，层层递进，像闯关游戏一样把难度拉高。
第一关叫Legacy（传统评估），很简单，给AI一个已经发生的候选动作，让它判断这个动作该"允许"、"拒绝"还是"推迟"。这就像给你看一张已经填好的答题卡，问你这道题判对判错。
第二关叫V0，考的是"该不干的时候别乱动手"。AI需要先把该查的信息查完,如果最终结论是不该执行某个动作,那就必须老老实实停下来,而不是中途敷衍几下就撒手不管。论文管这个叫"经过调查的不作为"（investigated non-action）,意思是，什么都不做也得有理有据，不能是偷懒式的沉默。
第三关V1，要求AI完成一次完整的单个动作：收集证据、确认证据支持这个动作、然后精确地执行它。
第四关V2和第五关V3更狠，涉及多个动作组成的工作流。V2是线性的，一步接一步；V3则是像一张网一样的依赖关系图，有分叉有汇合，某些动作必须等其他动作完成并返回结果后才能启动。
这五关背后，有一套叫"证据账本"的机制在默默记账。
证据账本（Evidence Ledger）：一种追踪机制，记录AI在交互过程中获取的每一条信息，包括这条信息是关于哪个具体对象、什么状态、来自哪次工具调用,确保后续评判时能精确核实证据与动作目标是否匹配。
这个账本的厉害之处在于，它不是笼统地问"AI查过资料吗"，而是精确到"AI查的这条资料，是不是关于它要操作的那个具体对象"。就像前面提到的C1和C2订单号的例子，账本会死死咬住这个细节不放。
整套评估系统还有一个特点，就是它完全靠确定性的程序判定对错，不请AI当裁判去评判AI。换句话说，这套考试的阅卷老师是一套写死的规则引擎，不会被花言巧语或者格式漂亮的回答骗过去。
**十个AI选手同场竞技，结果出人意料**
研究团队拉来了五个主流模型家族：Claude Opus 5、GPT-5.6 Sol、DeepSeek-V4-Flash、Qwen3.8-Flash、GLM-5.2，每个模型又分别搭配两种运行环境，一种是它自家配套的工具调用框架（比如Claude配Claude Code），另一种是统一的通用框架Inspect，这样就能拆解出"是模型本身的问题"还是"是运行环境的问题"。
十组配置跑下来，有两个发现特别值得说道。
第一个发现是，静态判断能力强，不代表实际操作能力强。
GLM-5.2搭配自家框架ZCode时，在第一关Legacy拿到了97.7%的高分，看起来相当靠谱。但一旦进入V1、V2、V3这些需要真刀真枪收集证据、执行动作的环节，分数直接崩到32.1%、12.1%、34.1%。而DeepSeek-V4在Legacy关卡也拿了96.5%的高分，但到了交互执行阶段，还能维持在59%到65%左右，比GLM稳得多。
这说明什么？说明"看一眼现成答案判断对不对"和"自己动手把这件事做完整"，根本是两种不同的能力，前者强不代表后者也强。
研究者还专门做了个对照实验，用同样的100道题，一组让AI看完整证据判断一个候选动作该不该执行（静态），另一组让AI自己从头收集证据、构造并提交动作（交互）。结果静态判断的准确率普遍在95%以上，交互执行的成功率却只有28%到52%。这个差距大到让人不安，因为这意味着，哪怕AI理论上懂得"什么情况该退款"，它自己真刀真枪去执行退款的时候，大概率会出岔子。
这就像一个学生做选择题能拿满分，但你让他自己动手完成一个完整的实验操作，从配置实验器材到记录数据再到得出结论，他却手忙脚乱，漏掉一步两步。理论知识和操作能力之间，隔着一整条鸿沟。如果不区分这两种测试方式，我们很可能被AI在"选择题"上的高分蒙蔽，误以为它已经具备了独立办事的靠谱程度，结果一上线就出现实际操作中的各种纰漏。
第二个发现是，运行框架的影响巨大，而且方向因模型而异。
DeepSeek-V4用自家框架DSH时整体成功率是63.0%，换成通用框架Inspect掉到57.5%；但GLM-5.2反过来，用Inspect（41.0%）比用自家框架ZCode（37.7%）表现更好。这说明同一个模型换一个"驾驶舱"，表现可能天差地别，而且没有放之四海而皆准的规律。
**失败到底卡在哪一步？**
光知道"AI会失败"还不够，研究团队进一步拆解了失败具体发生在流程的哪个环节,他们设计了一套诊断指标。
在V0关卡（该停手时不作为），他们发现一个叫BSR的指标，意思是"调查没做完就匆匆结束"的比例，在不同配置间从21.7%波动到62.9%。换句话说，有的AI还没把该查的信息查全，就已经交卷了，这是一种"半途而废型"的失败。
在V1关卡（单个动作执行），有个叫PAR的指标，衡量的是"证据还没收集完就动手"的比例，范围是37.0%到66.9%。这意味着很多情况下，AI压根没等信息齐全，就先把退款按钮按下去了。这是另一种失败，叫"操之过急型"。
但有意思的是，一旦证据真的收集齐了，AI执行动作的成功率反而相当高,这个叫CAS的指标，九个配置里有八个都在93%以上。
这说明单个动作本身的执行能力并不差，问题主要出在动手之前的准备阶段:要么调查没做完就撒手不管，要么证据没凑齐就贸然行动。
到了V2和V3这种多步骤工作流，又冒出了新的失败类型。一种叫"证据缺口"（Gap），指的是某个动作节点上，该有的前置条件没有被满足；另一种叫"执行不完整"（Partial），指的是工作流执行了一部分就卡住了，没能走完全程。这两种失败有时候会同时出现，但不是简单的相加关系。GLM-ZCode在V2阶段，证据缺口问题特别严重，占比高达80.3%，远高于执行不完整的33.3%，说明它的主要毛病是"根本没把前置条件搞清楚"，而不是"执行途中掉链子"。
这给我们一个启发：多步骤任务的失败原因，不是单一瓶颈，而是好几种不同性质的问题叠加在一起。就好像一次失败的接力赛，可能是第一棒没跑稳（证据没凑齐），也可能是交接棒时掉了（结果没正确传递给下一步），这两种问题需要完全不同的修复思路。
**当证据被藏起来，AI还会动手吗？**
光看自然产生的交互记录，研究者没法确定AI对"缺失证据"到底有多敏感。于是他们设计了一组对照实验，人为制造信息缺失的场景。
他们选了43道V1题目，针对DeepSeek、GLM、Qwen三家，做了一个叫"证据撤回"（Withheld）的处理：把某条本该支撑动作的关键记录藏起来，让AI看不到。另外还有22道题做了"证据矛盾"（Contradicted）处理，故意改动一个字段，让它和动作要求正面冲突。
结果令人意外。在信息被撤回的情况下，三个模型的行动概率分别下降了37.2到45.2个百分点，这个降幅看起来不小,但即便如此，仍然有46.5%到53.5%的情况下，AI照样执行了动作。换句话说，一半左右的时候，关键证据缺失了，AI还是选择"先干了再说"。
更微妙的是，当研究者进一步检查这些"硬着头皮也要动手"的案例时发现，66个有动作的案例里，65个确实调用了被撤回信息所在的那个工具，去查了一次。这说明AI不是完全没意识到信息缺口，它去查了，但查完之后，哪怕没拿到想要的答案，它还是决定继续执行。这就像你去银行办贷款，柜员明知道你没提供收入证明，却看了看空白表格，耸耸肩说"那就先批了吧"。
这个发现比想象中更让人不安，因为它说明问题不完全是"AI没意识到证据缺失"，而更可能是"AI意识到了，但缺乏足够的克制力去真正停下来"。
研究者没有就此打住，又测试了"证据矛盾"的情况，也就是信息不是缺失而是直接冲突。这时候行动概率的降幅就大得多了，达到54.5到70.0个百分点。说明比起"查不到"，AI对"查到了但是对不上"更敏感，这算是个积极信号。
接下来一个更有意思的对照实验出现了：研究者设计了两种不同的信息呈现方式。一种是直接把相关工具的查询结果摆在AI面前（证据包方式），另一种是让请求方口头声称"这个事我已经核实过了，没问题"，但不提供任何实际记录（请求方声明方式）。
实验结果显示，口头声明比实际证据包更能压制AI的行动欲望。三个模型在"请求方声明"条件下的动作提交数分别只有6/43、10/43、6/43，全都明显低于"证据包"条件下的数字。这个结果说明，AI在某种程度上，对权威性的人类口头保证的反应，比对冷冰冰的数据更敏感,这听起来有点反直觉，毕竟数据应该是更客观的证据，但结果却是一句"我已经核实过了"更能让AI收手。
这其实暴露了一个值得警惕的点：如果一个恶意用户知道这个规律，完全可以通过伪装成"已核实"的权威口吻，诱导AI在证据不足的情况下仍然执行某个危险动作。这不是理论上的担忧，而是实验数据实实在在摆在那里的。
研究者还测试了"紧迫感暗示"和"系统警告"两种干预，结果发现这两种手段对行动概率的影响都不明显，区间都包含零。而加入无关的干扰性记录后，AI的查询次数明显增加了（平均多查1到1.2次），但这些额外的查询动作，并没有带来相应的行动概率下降，说明"多查了"不等于"查对了关键信息，从而更谨慎"。
**给AI配一套"记账本"能改善情况吗？**
既然问题这么明显，研究团队干脆做了一个补充实验，看看给AI的决策流程加一套结构化的证据管理机制，能不能改善这个局面。他们管这套机制叫SCGR，全称SafeAct Contract-Guided Runtime，中文可以理解为"契约引导式运行框架"。
契约引导式运行框架（SCGR）：一种给AI智能体加装的外部辅助机制，强制它在提交最终动作之前，先把收集到的证据整理成结构化记录，并通过程序化检查，确保格式和引用关系没有明显漏洞。
这套框架有两个版本。SCGR-Select版本让AI自己决定该查哪些信息，但要求它把查询结果持久保存在一个证据账本里，提交动作前必须明确写出"这个动作的依据是哪几条证据、这些证据支持、缺失还是矛盾"。SCGR-EG版本则更激进，会自动帮AI做一轮系统性的信息收集扫描，相当于给AI配了个全自动的信息收集助手。
结果显示，SCGR-EG这个全自动版本，在十个配置里全都带来了成绩提升，提升幅度从0.3到16.2个百分点不等。最夸张的是GLM-ZCode，整体成绩从37.7%直接跳到53.9%，其中V2关卡从12.1%暴涨到58.0%，V3从34.1%涨到68.0%。
但有意思的转折出现在另一个版本SCGR-Select上。这个版本不帮AI自动收集信息，只是要求它把自己已经查到的信息结构化地记录下来并引用。结果发现，效果因模型而异,Qwen用了这套机制后成绩从62.1%涨到73.7%，涨幅不小；但Claude反而从62.6%跌到53.5%，GPT从60.7%跌到58.1%，GLM也略有下滑。
这个对照说明了一件挺重要的事：光是让AI"写下来自己查了什么、依据是什么"，并不必然让它做得更好。如果这套结构化记录机制和模型本身的习惯、风格不匹配，反而可能拖累表现,比如增加额外的格式负担，占用原本该用来思考的"注意力"。
这就好比给一个本来做事挺顺手的师傅，突然要求他每做一步都要填一张详细的工作日志，有的师傅觉得这能帮他理清思路，效率反而提高了；但有的师傅觉得这纯粹是在分散精力，耽误正事，本来能一气呵成的工作，现在被打断成一截一截的。工具是否有效，不能脱离使用者的工作方式来谈。
这个结果其实是对"给AI加规则就能解决问题"这种简单思路的一个警示：真正自动帮AI收集证据（SCGR-EG）效果更稳定，而只是要求AI"自己说清楚"（SCGR-Select）效果却参差不齐,说明光靠"喊话让AI更自律"是不够的，很多时候需要外部机制真正接管一部分工作，而不是指望AI自觉。
**这篇论文到底在提醒我们什么**
读完这篇论文，我脑子里一直转着一个画面：一个AI客服系统，表面上流程走得滴水不漏，查询、确认、执行、通知，每一步看起来都没毛病，但实际上它查的身份信息根本不是当事人的。这不是夸张的假设，而是论文里实打实用实验数据验证过的现象。
论文里有个细节我觉得特别值得拿出来单独说：请求方的一句口头声明，比实打实的证据数据更能让AI收手。这个发现一开始让我有点意外，后来想想又觉得挺符合语言模型的本质,它们本质上是在处理语言模式，而"我已经核实过了"这句话，可能恰好触发了模型学到的某种"权威表态应当被尊重"的模式，哪怕这个表态背后根本没有实际证据支撑。这提醒我们，未来设计AI安全机制的时候，不能只盯着"给不给数据"，还要考虑"数据是怎么被包装和陈述的"。
还有一点让我反复琢磨：静态判断准确率和交互执行成功率之间那道近50个百分点的鸿沟，说明我们过去很多对AI能力的评估方式可能都存在系统性偏差。如果只用"给它看一个场景，让它判断对不对"这种考法，我们测出来的分数，可能严重高估了它真正独立办事的能力。这不只是一个学术上的小瑕疵，而是关系到我们到底该不该放心把越来越多的真实权限交给AI系统去执行。
论文最后也坦承了一个局限：这套干预实验目前主要集中在单个动作（V1）层面，还没有延伸到多步骤的工作流场景里去测试，在每一个动作节点上分别变换证据条件。这意味着我们现在知道AI在单次决策时会不会被诱导"硬着头皮上"，但还不完全清楚，当一连串动作彼此依赖的时候，某一步的证据缺失会不会像多米诺骨牌一样，把整条链路都带偏。这是个值得继续追问的问题。
如果AI越来越多地接管现实世界里"动手"的那部分工作，那么我们到底该相信它说的"已完成"，还是该先问一句，它凭什么认为这事能做？
Q&A
Q1：SAFEACTBENCH是什么？
A：SAFEACTBENCH是一个专门评测AI智能体"证据到行动"能力的基准测试，包含656道题目，覆盖客服、工程、法务、科研、智能家居、医疗六大领域，通过五种难度递增的任务协议，检验AI是否在动手执行退款、通知等关键操作前真正核实了必要信息。
Q2：AI智能体在证据不足时还会执行动作吗？
A：会。实验显示，即使关键证据被人为撤回，仍有46.5%到53.5%的情况下AI照样执行了动作，哪怕它已经去查询过相关工具但没查到想要的信息，这说明AI知道信息缺失，但仍选择继续行动。
Q3：给AI加结构化证据记录机制有用吗？
A：效果因模型而异。全自动收集证据的SCGR-EG版本在十个模型配置中全部提升了成绩，最多提升16.2个百分点；但只要求AI自己记录证据依据的SCGR-Select版本，有的模型涨了11.6个百分点，有的反而跌了9.1个百分点，说明光靠规则约束并不稳定可靠。
