你有没有过这种经历。
打开购物软件搜一个东西，搜索结果一看就不对，第一页翻完了还没找到，第二页第三页也不对，可你就是关不掉那个搜索框,心里想着"再试一次说不定就对了"。明明每一次结果出来的那一刻你心里都清楚这不是你要的,但手还是不由自主地点了下一次搜索。
现在想象一下,把这个场景搬到AI身上。
一个AI агent（智能体）在用搜索工具回答问题,但这个搜索工具坏了,返回的内容全是垃圾。AI每次看到结果,都准确地判断出"这个没用",但判断完之后,它做了什么?它又去搜了一次。再判断一次没用,再搜一次。一直搜到预算耗尽,最后交了白卷。
这不是段子,这是一篇最新论文里记录下来的真实现象,论文题目直译过来是"判定无用，仍然查询:使用工具的智能体很少把自己的证据判断转化为停止决策"。研究团队来自新加坡南洋理工大学、新加坡国立大学等机构,他们做了一件挺较真的事:把AI的"判断"和"行动"这两件事彻底分开来看,结果发现这两者之间有一道巨大的裂缝。
智能体*：能够自主使用工具（比如搜索、查资料）完成任务的AI系统，不同于普通聊天机器人只是对话，它可以主动采取行动、调用外部资源。
这道裂缝有多离谱?论文里给出一个数字,七个被测试的AI模型里,有五个在自己已经连续五次判断"搜索结果没用"之后,还继续答对问题的比例最高不超过7%。但如果强制它们在那一刻停下来作答,其中一个模型Claude Haiku 4.5能答对284道题里的114道。也就是说,它脑子里其实已经有答案了,只是没有把"该停了"这个念头变成"停下来"的动作。
这就像一个人明明已经找到了钥匙,却因为习惯性地继续在口袋里摸索,而忘了掏出来开门。
工具会悄悄失效,这件事本身很常见
现实世界里,搜索引擎的索引会过期,检索系统会跑偏,但它们失效的方式往往很安静。它们不会弹出一个红色警告说"我坏了",它们只是继续吐出文字,只不过这些文字不再有用了。
这就是论文要研究的核心场景:工具没有明显报错,但悄悄失灵了。AI要怎么发现这件事,并且做出正确反应?
论文作者们意识到,要研究这个问题,得先解决一个技术难题,就是你没法在真实世界里精确控制一个工具什么时候失效、什么时候恢复。于是他们搭建了一个人工的实验环境,使用HotpotQA这个问答数据集,每道题配一个小型知识库，里面有十段文字,其中两段是真正有用的"证据",剩下八段是干扰项。
HotpotQA*：一个需要"两跳推理"的问答数据集，意思是答案不能从单一段落直接找到，需要把两段不同的信息拼起来才能推出结论，比如"A和B有什么共同点"这种问题。
研究者可以人为控制:让搜索工具在某些时间点开始返回垃圾内容(用别的问题的知识库段落来冒充结果),然后让它在某个时间点恢复正常。这样一来,什么时候该走、什么时候该等,答案是提前设计好的,研究者就能拿着标准答案去对照AI的行为。
他们设计了六种不同的"故障模式"：工具完全正常的、从头到尾都失效的、失效一两次后恢复的、从某个时间点才开始失效的。这么做的目的是避免AI学会一套"偷懒的规则",比如如果故障模式永远是"搜一次就失败",那AI完全可以靠"搜一次就换策略"蒙混过关,但这并不代表它真正理解了证据积累这件事。
一个核心的测量工具:Δ对比
要证明AI"知道却不做",光靠成功率是不够的。
这里有个很容易被忽略的陷阱。假设一个AI在第8步总是会给出答案，不管前面发生了什么，它只是单纯地"到点就交卷"。这种行为在某些故障场景下看起来也会有不错的成功率，因为很多时候第8步确实该给答案了。但这种AI真的是在"根据证据做判断"吗？显然不是，它只是在看时钟。
论文作者为了戳穿这种伪装,设计了一个叫Δ(时间匹配对比)的指标。
时间匹配对比Δ：在完全相同的步数下，比较两种历史：一种是"目前为止所有结果都被判断为没用"，另一种是"最新结果也判断为没用，但稍早前有一次被判断为有用"。用前者回答的概率减去后者，如果结果明显大于0，说明AI确实是在根据"连续失败的证据"做决定；如果结果接近0，说明AI只是在看时钟或者等预算耗尽；如果结果是负的，说明AI的停止行为其实是被"稍早前那次有用的证据"驱动的。
这个设计很巧妙的地方在于，它把"AI在第几步停下"和"AI为什么在这一步停下"这两件完全不同的事情拆开了。
打个比方。两个员工都在周五下午五点下班，一个是因为手头的活儿确实干完了，另一个纯粹是因为到点了不管活儿干没干完都要走。从"几点下班"这个表面现象看,两人毫无区别,但如果你把他俩放到"活儿提前干完"和"活儿没干完但时间到了"这两种场景里分别观察,马上就能看出谁是真的因为工作完成而离开,谁只是机械地看表。如果不做这种对照实验，你永远没法知道公司里到底有多少人是真正高效完成任务，又有多少人只是在熬时间。
Δ指标干的就是这件事。
模型判断得又准又稳,但完全不往心里去
实验的第一个发现有点反直觉。
你可能以为,AI会在这件事上栽跟头是因为它压根没看出搜索结果是垃圾。但事实恰恰相反。
研究者给AI设置了一个"side channel"(侧信道)，也就是在AI不知情的情况下，复制一份它当前的对话记录，偷偷问它一句"这条结果有用吗，回答有用或没用"，问完之后这个副本就扔掉，不会影响AI正式的思考路径。这样就能在每一步都精确知道AI内心的真实判断，而不干扰它原本的行为。
结果是，每一个被测试的模型，对失效来源返回的垃圾结果，判断为"没用"的准确率都在97%到100%之间。这不是糊弄,因为同样这些模型在面对真正有用的段落时,判断为"有用"的准确率也有77%到98%(除了一个表现较差的小模型)。
这说明什么？说明AI的"眼睛"是雪亮的，它清清楚楚地看出每一次搜索都是无用功。问题出在"眼睛"和"腿"之间的连接断掉了，看见了，却迈不开步子走开。
那是不是因为AI心里觉得"继续搜下去还是有希望的"，所以才硬着头皮搜下去？
研究者也测试了这个可能性，让AI自己报告一个概率："如果我继续搜下去，成功的可能性是多少"，以及"如果我现在就凭已有信息回答，成功的可能性是多少"。结果三个模型给出的答案方向完全不一致，有的模型高估了继续搜索的价值，有的模型低估了立刻回答的价值，有的模型两头都没对上。更关键的是，就算某个模型自己报告"现在回答的胜算更大"，它的实际行动也不会跟着走。论文里提到一个具体数字，Llama-3.1-8B在自己认为"现在回答更划算"的595个决策点里，只在32个点真的选择了回答。
这就好比一个人明明心里清楚"再等下去公交车也不会来了，不如打车"，但还是站在原地继续等车，等到最后崩溃。知道和做到之间，隔着一层说不清道不明的东西。
告诉AI更多信息，只会改变它什么时候停，不会改变它凭什么停
既然判断是准的，信念也不是唯一的罪魁祸首，研究者接下来想，是不是只要在提示词里把话说得更明白一点，AI就会听话了？
他们试了好几种办法。
第一种叫"许可"，就是在提示词里告诉AI"如果搜索结果不够用，你也可以凭自己的知识来回答"。这个改动对两个7B/8B级别的小模型几乎没起作用，但对另一个模型Qwen3-8B产生了奇怪的副作用，它变得特别爱提前交卷，在那种"搜索三次之后工具就会恢复正常"的场景里，有55%的问题它压根没等到真正有用的结果出现就直接凭记忆回答了。这说明它提前停下来，不是因为判断出证据不够了，而是单纯因为"被允许提前交卷"这件事本身让它想偷懒。
第二种叫"预算"，就是明确告诉AI总共只有8次行动机会，还会在每一步提醒还剩几次。这个改动确实让小模型们愿意作答了，但它们几乎都是卡着最后一步才交卷，论文里的数字是51%到79%的答案出现在最后一个可用步骤。
这里有个特别能说明问题的实验，研究者把预算翻倍，从8步改成16步，看看会发生什么。
预算驱动的AI，答题的步数直接从第8步挪到了第16步，工具调用次数也翻了一倍，但正确率完全没有提升。这就像有人告诉你"今天必须在下班前交报告"，于是你本来两小时能写完的东西，硬是拖到下班前最后十分钟才交，哪怕公司把下班时间延后到晚上八点，你照样会拖到晚上七点五十才交。时间限制决定了你拖延的终点，但没有改变你是不是真的根据内容判断"写完了"这件事。
第三种办法更直接，干脆把停止规则写进提示词里："如果连续五次搜索结果都没用，就停下来凭自己的知识回答"。这个办法只对部分模型部分奏效，而且效果远不如强制执行的版本。有的小模型完全不管这条规则，该怎么搜还怎么搜；有的模型反而因为看到这条指令，变得随便什么时候都提前作答，根本不管证据积累到了没有。
第四种是加价格信号，告诉AI每调用一次工具要扣0.05分，答对一题得1分，让它自己权衡成本收益。结果小模型们依然卡着预算的最后一步交卷，跟单纯告诉它预算数字相比没有本质进步。
甚至研究者还试过一种叫"decide"的方案，每一步都把AI自己的判断和当前连续判断为"没用"的计数直接写进对话历史里，摆在它面前让它自己权衡。结果依然没用，三个小模型的Δ指标都是负的，也就是说哪怕把数字明明白白摆在眼前，它们还是不会把这个数字转化成停止的决定。
这几次尝试拼起来，传递出一个挺扎心的信息，就是告诉AI越多信息，只能影响它在哪个时间点停下来，却始终无法让它真正根据判断去停下来。信息和行动之间缺的那块拼图，不是靠"说得更清楚"就能补上的。
真正管用的办法:让系统替AI做决定
前面试了这么多种"劝说"的办法都不太灵,研究者想到了一个釜底抽薪的招数。
既然AI自己不愿意或者不会把判断转化成行动，那就不给它这个选择权。
这就是论文里的"enforced rule"(强制规则)。具体做法是，让外部的执行系统（论文里叫harness,也就是运行AI的那套程序框架）来监控AI每一步的判断，一旦连续五次判断为"没用",系统就直接把搜索和查找这两个工具从AI能用的选项里拿掉,只给它留下一个选项:给出最终答案。
执行框架harness：运行AI智能体的外层程序，负责提供工具、记录每一步的输出，并且可以在特定条件下干预AI能做什么动作，相当于一个带有部分强制力的"管理者"。
这招效果立竿见影。论文里报告,每一个被测试的模型,用上这条强制规则之后,在失效源头的问题上成功率都显著提升,提升幅度从2.6个百分点到接近10个百分点不等,而且这个提升经过了统计学意义上的严格检验。
更关键的是第二个效果,当研究者把预算翻倍到16步时,强制规则驱动下的AI依然在差不多同一步就给出答案,成功率几乎没有变化,工具调用次数也基本持平。这和前面预算驱动的AI形成了鲜明对比。
这就像公司里有两种员工，一种是"到点下班型"，你把下班时间从六点推到八点，他照样磨蹭到八点才交活儿；另一种是"活儿干完就走型"，不管公司几点下班，他两小时写完报告就提交了，根本不受下班时间左右。强制规则造出来的，正是第二种员工。它真正锚定的是工作本身有没有完成，而不是时钟上的数字。
研究者还做了个对照实验，用来证明这个提升不是瞎蒙来的。他们弄了一个"随机信号"，让它以和真实判断差不多的频率随机说"没用"，但出现的时机是乱来的，结果发现强制规则用真实判断驱动时，表现明显优于用随机信号驱动，这说明判断本身的准确性和时机都很重要，不是随便给个触发条件就能达到同样效果。
论文里还有个很实用的发现，就是这套强制规则不一定非要额外问一次"这个结果有用吗"才能运作。对于那些会在自己的思考文字里自然流露出判断的模型(比如Thought里写了"这个结果和我要找的东西无关")，系统完全可以用一个简单的关键词识别器直接从这段思考文字里读出判断，不需要额外发起一次判断请求。这样做出来的效果，和专门问一次几乎一样好，还省下了额外的调用成本。这就好比一个老师批改作文，不需要每次都单独问学生"你刚才写的这段是不是跑题了"，而是可以直接从学生写出来的文字里判断出来，省时省力。
当然，这个方案不是万能药。研究者把预算声明和强制规则结合起来做成"组合拳"之后，表现确实更稳健，在14项预先设定的非劣性检验里全部通过，对那个本来容易"提前交卷"的小模型Qwen2.5-7B，组合方案比单纯的强制规则还要再提高13.8个百分点。但如果真实世界里的失效恢复得比论文设定的场景要晚（论文设定的是最多失效三次就恢复），这套阈值为5的规则可能会在恢复前一刻就放弃了，这是论文自己也承认的局限。
更大的模型、会思考的模型、专门训练过的模型，表现如何
读到这里你可能会想，这些问题是不是只存在于参数量比较小的7B、8B模型身上，换个更聪明的大模型是不是就没这个毛病了？
研究者专门测试了这个猜想，结果有点让人意外。
Qwen3-32B这个规模更大的开源模型，判断准确率和小模型一样高，但在自己连续五次判断"没用"之后，依然只在284道题里的19道题选择了回答，占比不到7%。
Claude Sonnet 5是目前最先进的商用模型之一，它是七个测试模型里唯一表现出一点"部分根据证据停止"迹象的模型，论文给出的对比数据是正向的0.12（置信区间0.05到0.18）。但即便是它，在强制规则本该触发的那些问题里，不加干预的情况下也有45%最终耗尽预算没能给出答案。而Claude Haiku 4.5在同样情况下，这个比例是99.3%（282道里有282道）。
研究者还测试了一个专门经过强化学习训练去做搜索的模型，叫Search-R1，它是在HotpotQA和另一个问答数据集上用PPO算法专门训练出来的智能体。按理说，专门为搜索任务训练过的模型应该更懂得什么时候该停。但结果是它在同一时间点上，面对更长的失败记录，依然不会更倾向于回答，论文给出的对比数值是负的0.03。这说明单纯靠"结果好不好"这种奖励信号去训练，并不会自动教会模型"把积累的失败证据转化为停止决策"这种更深层的策略。
还有一个更反直觉的发现，涉及到"推理模式"（也就是常说的thinking mode，模型会先生成一长串内部推理过程再给出答案）。你可能会觉得，让模型多想一会儿，它应该更容易在思考过程中意识到"这事不对劲，该停了"。但实验结果恰恰相反，开启推理模式之后，Qwen3-32B在失效源头的问题上，有97%的比例直接凭记忆回答，而不开推理模式时这个比例只有11%。看起来推理模式让它变得更"果断"了，但这种果断根本不看证据，在那种"搜索两次后工具就会恢复正常"的场景里，它有47%的概率在任何真实有用的结果出现之前就已经给出答案了。多想了，但想的方向完全偏了。
这几组对比放在一起看，传递出一个挺重要的信号。模型规模变大、推理能力增强、专门训练去做搜索任务，这些听起来都应该能缓解"知行不一"的问题，但实际上它们各自以不同的方式延续了同样的裂缝，有的甚至让裂缝以更隐蔽的方式继续存在。
这件事为什么值得认真对待
写到这里，可能有人会说，不就是个实验室里设计出来的人造场景吗，现实世界的工具失效没准没这么夸张。
但换个角度想，这个问题的根子其实挺普遍。任何一个需要"持续判断要不要继续投入"的场景，都可能遇到类似的裂缝。一个人知道某段感情已经没有未来了，却因为"已经投入了这么多"而继续耗着；一个团队明明看到某个项目的数据一直很差，却因为预算还没花完而继续推进；一个研究者心里清楚某个实验方向走不通了，却还是习惯性地重复同样的实验设置。知道一件事和真的根据这件事改变行动，中间横着一道很多人、很多系统都跨不过去的沟。
论文作者在讨论部分提了一个很值得记住的类比，他们提到序贯检验理论里的思路，就是把"累积的证据数量"直接映射成一个明确的行动，而不是指望决策者自己在每一步重新权衡一遍。这其实是在说，有些时候解决知行不一的办法，不是不断劝说，而是设计一套机制，让"积累到某个程度"自动触发某个行为，不再把这个决定的权力留给那个本来就容易犹豫的主体。
写在后面
这篇论文最打动我的地方，不是它发现了AI会"过度搜索"这件事（这事之前已经有人提过），而是它把"判断准不准"和"行不行动"这两件事彻底拆开测量的那个巧思。Δ指标这个设计思路其实挺值得单独拎出来想一想，它教会我们一件事，就是很多时候我们以为自己在观察"行为背后的原因"，其实只是在观察"行为本身"，这两者看起来像一回事，细究起来完全不是。一个人每天准时下班，到底是活儿干完了还是单纯看表，不做对照实验你真分不清楚。
另一个让我反复琢磨的细节，是那个关于推理模式反而让模型更快"不负责任地"给出答案的发现。直觉上，多想一会儿应该等于更谨慎，但论文里的数据直接打脸了这种直觉。这提醒我，给一个系统更多"思考时间"或者更强的"推理能力"，不等于给它更好的"判断转化为行动"的能力，这两件事之间没有必然联系，甚至可能互相拖后腿。
还有一点值得多想一层，论文提到强化学习训练出来的Search-R1依然没能学会在同一时间点上根据证据积累做决定，这说明单纯靠"结果对不对"这种奖励信号去训练模型，教不出这种更细腻的策略能力。这背后其实指向一个更大的问题，就是我们现在训练AI的方式，大多是盯着最终结果打分，而很少直接奖励"过程中的决策质量"，如果真的想让AI学会"该停就停"，可能需要在训练阶段就专门设计针对这种中间决策的信号，而不是指望它从最终对错里自己悟出来。
这篇论文没有解决的问题也很明显，它设定的失效恢复窗口比较短，真实世界里一个工具可能要坏很久才会修好，这套阈值为5的强制规则放到更长的失效周期里还管不管用，论文自己也承认需要重新调参。另外，这套办法目前还是靠外部系统强制执行，没有真正让AI自己学会这种能力，这中间的差距，某种程度上才是更难啃的那块骨头。
Q&A
Q1：AI明明判断搜索结果没用，为什么还继续搜索？
A：研究发现AI的判断能力和行动能力是脱节的。实验显示七个测试模型判断失效源结果为"没用"的准确率高达97%到100%，但其中五个模型在连续五次自己判断"没用"之后，继续搜索而不是停下来回答的比例依然很高，说明问题不在于AI看不懂结果，而在于它不会把判断转化为停止动作。
Q2：怎么判断AI是真的根据证据停止，还是单纯到点就交卷？
A：论文提出了一个叫Δ的时间匹配对比指标，在完全相同的步数下比较两种情况：一种是所有结果都被判断为没用，另一种是最新结果没用但之前有一次被判断为有用。如果前者回答概率明显更高，说明AI确实在根据累积的失败证据做决定；如果两者差不多，说明AI只是在看时钟或者等预算耗尽。
Q3：有没有办法让AI真正学会在该停的时候停下来？
A：论文发现单纯告诉AI更多信息（比如允许凭记忆回答、说明预算、写明停止规则）效果都很有限，往往只改变AI什么时候停，不改变它凭什么停。真正有效的办法是让执行系统强制介入，当AI连续五次判断结果没用时，直接取消搜索选项只留下回答选项，这种强制规则在所有测试模型上都显著提升了成功率。
