有个真实的场景是这样的：一位顾客想把网购的靴子改成8码，她告诉客服机器人自己的名字和邮编，但忘了邮箱，也没带着订单号。结果呢，机器人问了十六遍邮箱和订单号,靴子最终没能改成。
这事儿听起来有点荒唐,但它精准地暴露了当下大多数AI智能体的一个通病：它们只会回答你问的问题,却不会主动去找那些你没提但任务里必须要的信息。这篇来自IBM和魏茨曼科学研究所的论文,把这个问题从一个模糊的直觉,变成了一套可以量化、可以训练的技术方案。
**这篇论文最打动人的地方,是它把"主动性"这个听起来很玄的概念,拆解成了两个可以测量的维度。**
一个智能体到底该怎样才算"主动"?过去的研究大多在纠结"要不要主动""什么时候主动",但很少有人问"主动去找什么"。这篇论文换了个角度,专门研究智能体该去追问的内容本身。
客服机器人问错问题,问题出在哪
先说说这个问题到底有多普遍、多棘手。
在这之前,行业里对"主动智能体"的理解基本停留在触发时机上:什么情况下模型该自己采取行动,而不是干等用户下一步指令。像Horvitz在1999年提出的混合主动界面理论,还有近几年一些主动智能体的研究,关注的都是"要不要主动出手"。至于主动出手之后该去查什么信息,几乎是一片空白。
搜索类的智能体系统也存在类似的盲区。它们要么严格按照问题本身给出的逻辑链条一步步检索,要么干脆只根据最终答案对不对来训练,压根不去管每一步查询本身有没有价值。这就造成一个尴尬的局面:评估的时候,很容易把"问得多"误判成"问得好"。因为很多模糊的、低效的问题堆起来,也能凑出跟几个精准问题差不多的信息量。
**多跳问答**：需要多个步骤、跨越多条证据才能回答的问题类型，比如"某部电影导演的出生地在哪个季节发生过什么事"，就需要先找到导演、再找到出生地、再找到那个季节的事件，一环扣一环。
研究者们的思路是:既然多跳问答基准数据集本身就带着问题的拆解逻辑,那为什么不把这套逻辑变成一张图,用来给智能体的行为打分呢?这就是这篇论文的起点。
需求图:把"该问什么"变成可以打分的东西
这套方法的核心叫做需求图,英文是need graph。
**需求图**：针对每个任务,列出完成任务所需的全部证据单元(称为"需求"),并用一条条前置边把它们串联起来,标明哪个需求必须先解决另一个需求才能被发现。
想象你在破案。案发现场留下的每一条线索(需求)之间存在着先后依赖关系:先有指纹,才能查到嫌疑人;先查到嫌疑人,才能问出不在场证明。如果你的助手在没查指纹之前就跑去问不在场证明,这不叫聪明,叫瞎猜。需求图做的事情,就是把每个任务背后这样的逻辑链条画出来,变成一张有向图。
图里的每个节点是一个"需求",也就是完成任务必须获取的一条证据。节点和节点之间的连线代表依赖关系:如果A需求必须在B需求之后才能被提出来,那A和B之间就有一条边。每个需求还有一个"深度"属性,深度为零的需求可以直接从任务描述里看出来,深度越大,说明这条信息藏得越深,需要更多步骤才能挖出来。
在这个框架下,论文提出了两个关键概念。
**水平主动性**：在当前已知信息范围内,主动去追问那些请求里没有明说、但可以直接叫出名字的需求,比如客户想改订单,机器人主动去查客户账户,即使客户没提这一步。
**垂直主动性**：追问那些只有在挖出更早的证据之后才能被叫出名字的需求,比如先查到账户才能查到订单,再查到订单才能查到订单里的靴子型号。
这两者是可以分开衡量的:一个智能体可能把表面能看到的需求都解决了,但从不深挖一条链;也可能死磕一条链,却对旁边摆着的明显线索视而不见。
论文里给出了一整套读数方式:必需证据覆盖率(到底找到了多少必要证据)、广度(触及了多少条独立的信息线索)、深度加权召回率(是不是找到了足够深的证据,并且给深层证据更高权重)、能触达的最深需求层级、乱序率(是不是在没搞清前提的情况下就跳去找后续信息)、以及两个停止相关的指标:任务完成时是否会及时停下,任务没完成时是否还会继续追问。
这套指标最妙的地方在于,它完全不需要人工标注,也不需要另一个大模型来当裁判。因为需求图是从基准数据集自带的问题拆解结构里机械地提取出来的,没有任何人或模型专门为此写过一条边。比如MuSiQue数据集里,后一步的问题经常写成"#1指代对象的出生地是哪里"这种形式,这本身就是作者留下的依赖关系声明,顺着这个格式就能自动建图。
Q&D算法:让模型学会为后果负责
有了衡量标准,接下来的问题是怎么训练模型做到这件事。
这篇论文提出的训练算法叫Q&D,也就是questioner and drafter,直译是"提问者和起草者"。
**Q&D**：一种训练智能体主动提问能力的算法,核心思路是让提问者根据"这个问题接下来能带回多少必要证据"来学习偏好,完全不依赖奖励模型或者裁判模型打分。
这套系统被拆成了几个角色:提问者负责决定问什么、什么时候该停;一个固定不变的起草者负责把检索到的证据整理进草稿里;最后一个固定的回答者根据任务、证据和草稿写出最终答案。整个对比实验里,唯一变化的部件就是提问者,这样才能保证不同方案之间比的是提问能力本身,而不是其他环节的差异。
训练的关键设计在于:因为起草者是固定不变的函数,草稿的每一次变化必然是由某个问题引起的。这意味着每个问题都可以被精确地追溯到它带来了什么后果。
具体做法是这样的:从一条已经跑完的历史记录里,挑一个时间点往回倒带,在这个时间点上采样出八个候选问题,然后分别让这八个候选问题继续往下跑,一直跑到结束。这八个候选问题起点完全一样,面对同样的任务、同样的历史证据,唯一的区别就是问了不同的问题。
排序规则很直接:先看哪个问题的后续跑出了正确答案,再看哪个问题更快凑齐了全部必要证据,最后看每一步带来了多少新证据。在证据还没凑齐的状态下,"继续问"这个选项会被排在"停下来"前面。
这个设计像什么呢?
想象你在教一个实习生写调查报告,你不会直接告诉他"这句话该怎么改",而是让他先写出十份不同的开头,然后你去看哪份开头往后写,最终查到的信源最全、报告写得最快最好。你从来不评判这句话本身写得漂不漂亮,你只关心它引出了什么结果。如果反过来,你直接根据"这句话听起来专不专业"去打分,实习生很可能学会了说漂亮话,却学不会真正抓住重点去调查。Q&D的训练逻辑正是如此:不看问题的措辞,只看问题引出的后果。
训练分三个阶段推进。第一阶段是模仿学习,如果当时证据已经齐全,目标就是"停",如果证据不齐,就模仿采样出来的最优问题,前提是这个问题的后果分数要超过一个门槛。第二阶段用直接偏好优化在问题对上训练,直接偏好优化的简称是DPO。
**直接偏好优化（DPO）**：一种不需要单独训练奖励模型、直接在一对好坏样本上做偏好学习的训练方法,由Rafailov等人在2023年提出。
第三阶段把问题对和"停止对比"放在一起训练,停止对比专门教模型在任务还没完成时,提问要比停止更值得偏好,这是第一阶段模仿学习没法教会的东西,因为在那些完全没有候选问题达标的困难状态下,模仿学习根本没有目标可以模仿,这类状态会直接被丢弃,数据显示单是在MuSiQue的训练集里就有24538条这样的状态被扔掉了。
结果:8B小模型打赢15倍大的对手
论文在MuSiQue、StrategyQA和2WikiMultiHopQA三个多跳问答基准数据集上验证了这套方法,用的基座模型是参数量8B的Qwen3-8B。
先说最核心的数字。在相同提问次数的前提下,训练后的提问者比同一个模型仅靠提示词驱动(不训练,只是用提示词告诉它该怎么做)的版本,在必需证据覆盖率上分别提升了11.2个百分点(MuSiQue)、7.0个百分点(StrategyQA)、5.0个百分点(2WikiMultiHopQA)。在依赖链条最深的MuSiQue上,训练后的模型能找到90%的必要证据,而仅靠提示词的版本只有78%,这12个百分点的差距,意味着每找10条必要线索,提示词版本就要漏掉1到2条。
更值得留意的是深度加权召回率的提升,MuSiQue上涨了12.5个百分点,这说明多出来的这部分证据大多是深藏在依赖链条后端的信息,也就是垂直主动性的体现。研究者认为这是训练标签设计带来的效果:标签偏好那些能更快凑齐全部证据的问题,这自然会鼓励模型尽早启动一条链条,好让后续问题能顺着链条往下走。
再看跟大模型的对比。训练后的8B提问者,在相同提问次数下,击败了参数量15倍于它的GPT-OSS-120B(仅靠提示词驱动),在MuSiQue和StrategyQA上分别领先7.0和4.3个百分点,只在2WikiMultiHopQA上落后3.5个百分点。这个领先幅度和任务的依赖链条深度是正相关的:链条越深的任务,训练带来的优势越明显;链条最浅(基本只有一层依赖)的2WikiMultiHopQA上,大模型反而占优。
这个现象其实挺说明问题的。
如果一个任务本身不需要多步骤推理,那单纯靠模型规模大、见识广,可能就足够猜对该问什么了。但一旦任务需要按部就班地一环扣一环深挖,单纯堆参数量的边际效果就开始打折扣,反而是那些专门学过"怎么根据后果来选择下一步"的小模型更占优势。
这就好比找一个经验丰富但没受过训练的老侦探,和一个受过系统训练的新手侦探去查一个需要连环追踪的案子。老侦探见多识广,单点判断力可能更强,但如果案子需要严格按顺序一步步挖(先查A才能查B,查到B才能查C),受过系统训练、懂得"这一步该往哪个方向走"的新手,反而更容易把整条链条走完整。规模大不等于会按顺序办事。
效率方面的数字也很扎实。训练后的模型平均每找到一条必要证据,消耗的token数量比提示词驱动版本减少了40%(MuSiQue上是11610个token比19354个token),说明这不是靠堆砌更长问题换来的效果。事实上论文专门检验了问题长度这个变量:训练后模型的问题确实更长一些(MuSiQue上平均17.5个词对13.1个词),但如果把提示词版本也允许用同样多的字数去写问题,它依然落后14.9和4.7个百分点,证明优势来自问得准,而不是问得啰嗦。
论文还专门找人来核验这些"更主动的问题"是不是真的更好。让两位人类评分员判断某个问题是不是触及了任务里没明说的需求,两人一致率达到88%,说得过去。但如果让他们判断两个候选问题里哪个更好,一致率骤降到68%,这说明"哪个问题更值得问"这件事,即便是人类专家之间意见也相当分歧,而论文用的判断标准是纯粹客观的:哪个问题的后续找到了更多必要证据。
论文还专门跟一个叫PAR2-RAG的结构化检索算法做了对比,这是个人工设计的、会主动规划子问题并检查证据是否够用的方案。结果发现,不管把它套在Qwen3-8B、GPT-OSS-120B还是Claude Opus 5上,在相同检索次数下,它从没能超过同一个模型仅靠提示词驱动的版本,反而是训练出来的8B提问者在每个模型上都领先它。这说明单靠人工设计一套精巧的流程,未必能替代让模型真正从后果里学习。
从问答题跑到真实客服现场
这篇论文最让人意外的地方,是训练好的提问者不需要任何额外训练,直接搬到一个全新场景里照样管用。
研究者把这个提问者放进了τ?-bench这个客服智能体基准测试里,让它去应对一个模拟出来的真实顾客,处理零售和航空两个领域的客服任务。
**τ?-bench**：一个用来评测客服对话智能体的基准测试,由一个双向控制的模拟环境构成,里面有会主动回应、也可能提供不完整信息的模拟顾客。
在零售场景里,训练后的提问者把任务完成率从13%和12%提升到了34%和32%(两种不同的提示词设定下),二十五个测试任务里有十个明显变好,没有一个变差。它平均每次对话还少问1.3到1.4个问题,却能找到更多任务真正需要的记录信息,可以说是问得更少、找得更多。
面对参数量大它15倍的GPT-OSS-120B,训练后的模型在零售场景里领先17.0和12.7个百分点的任务成功率,同时顾客还要少补充回答1.6到1.8轮对话。
这个对比结果回到了文章开头那个靴子的例子。
如果客服机器人只会照本宣科地问用户要邮箱和订单号,而顾客又恰好答不上来,这个任务就永远卡在那里,顾客只能一遍遍地重复"我不记得了"。但如果机器人学会了主动查账户、查订单、查商品型号这一整条链路,顾客甚至不用意识到中间发生了什么复杂的查询过程,任务就已经办完了。这不是让机器人变得更"聪明",而是让它学会把该干的活自己干了,不指望用户替它把作业写完。
训练学会了提问,却还没学会及时收手
论文也很坦诚地指出了两个明显的短板。
第一个短板是训练更容易教会模型"该问什么",却更难教会它"什么时候该停"。研究者做了细致的拆解实验:如果单独用问题对来训练,模型会提前停止,证据还没凑齐就草草收场;如果单独用停止对比来训练,模型又几乎从不停止,一直问个不停。只有把两种信号放在一起训练,才能在两者之间找到某种平衡,但即便如此,训练后的模型在"任务完成时及时停下"这个指标上,依然比模仿学习阶段的表现低了将近一半。
这背后的矛盾其实很好理解:模仿学习只能从"证据已经齐全该停下"和"某个候选问题足够好该继续问"这两类明确场景里学习,但那些证据还不齐全、又没有一个候选问题足够优秀的尴尬中间状态,模仿学习完全没法覆盖。而这恰恰是决定模型会不会"该停不停,该问不问"的关键地带。
第二个短板是,多找到的证据还没能实实在在地转化成更好的最终答案。论文估算,在MuSiQue上,证据覆盖率的提升理论上应该带来大约4.3个百分点的答案质量提升,但实际观测到的只有2.4个百分点,处在统计上勉强能探测到的边缘。研究者认为这可能跟起草者和回答者本身的能力上限有关,证据摆在那里,但把证据转化成精准表述的最后一步,还没被这套训练方法覆盖到。
写在后面
读完这篇论文,最触动我的是那个客服机器人问十六遍邮箱的例子。这不是一个夸张的段子,而是研究者刻意用来展示当下AI智能体的一种典型缺陷:它们太擅长"回答被问到的问题",却太不擅长"去追问那些明明该问、却没人问"的东西。
这让我联想到日常工作里那种最让人头疼的同事,你交代给他一个任务,他严格按照你说的话去执行,一个字都不多做,但凡你没提到的环节,哪怕明摆着需要处理,他也绝不会主动伸手。而另一种同事,你随口提一句需求,他能顺着这条线自己往下挖,把你没说但显然要做的事情也一并做了。这两种人做同样的事,效率可能差出好几倍,但表面上看,他们收到的指令是一模一样的。这篇论文本质上是在教AI变成后一种同事。
论文里那个反常识的发现也值得多想一层:小模型经过针对性训练,居然能在特定任务上打赢15倍参数量的大模型。这提醒我们,模型规模从来不是万能钥匙,真正决定表现上限的,常常是训练信号本身有没有抓对方向。堆参数量能解决"见多识广"的问题,却未必能解决"知道该按什么顺序、去哪里深挖"这种结构性的判断力问题。
垂直主动性和水平主动性这两个概念被拆解开来看这件事,也让我想到,很多复杂能力其实都能拆成"广度"和"深度"两条轴。写文章能不能兼顾覆盖面和挖掘深度,做研究能不能既广泛涉猎又肯钻牛角尖,可能都是同一种结构性张力的不同表现形式。
这篇论文没有解决的那个"什么时候该停"的问题,倒是让我更好奇了。一个真正懂得适可而止的智能体,和一个只懂得埋头往前冲的智能体,中间到底差着什么样的判断力?这大概是下一步真正难啃的骨头。
Q&A
Q1：Q&D算法是什么？
A：Q&D是questioner and drafter的缩写,是一种训练智能体主动提问能力的算法。它让提问者根据每个问题实际带回了多少必要证据来学习偏好,不需要奖励模型或裁判模型打分,只看问题引发的后果来判断好坏。
Q2：需求图是怎么衡量智能体主动性的？
A：需求图从基准数据集自带的问题拆解结构中机械提取,把完成任务所需的证据单元变成节点,并用依赖关系连成图。通过对比智能体的实际行为轨迹和这张图,就能算出证据覆盖率、深度加权召回率等一系列指标,不需要人工标注也不需要模型裁判。
Q3：训练后的8B小模型为什么能打赢15倍大的模型？
A：论文发现,在需要按顺序逐层挖掘依赖链条的任务上,训练带来的优势远比单纯堆模型参数量更明显。8B的Qwen3经过Q&D训练后,在链条最深的MuSiQue数据集上领先GPT-OSS-120B达7个百分点,但在依赖链条最浅的任务上,大模型反而占优。
