Token导航 LogoToken导航

AI 资讯 · 科技行者

强模型不必每步亲为,审稿人角色更高效

更新 2026-11-19科技行者正文 7035字阅读约 22分钟

你有没有遇到过这种上司:明明手下有个实习生能干活,但他总觉得"还是我自己来比较放心",结果事事亲力亲为,把自己累得半死,效率还上不去。

大语言模型做智能体任务的时候,长期以来就是这么个状态。

一个客服智能体要处理用户的退款请求,可能得走个三四十步:查用户信息、查订单、核对政策、查库存、最后才能执行退款、回复用户。要是换成日常生活服务场景,比如订餐、订票这类任务,步骤甚至能拉到上百步。

智能体*:能够自主使用工具(比如查数据库、调用API、执行代码)来完成多步骤任务的AI系统,和只能单轮问答的聊天机器人不同,它需要连续做很多次决策。

而目前主流的做法是,让一个"强模型"(比如参数量巨大、能力很强但跑得慢、吃资源的大模型)从头到尾包办所有步骤。问题是,这些步骤里有相当一部分根本不需要那么聪明的脑子,比如查一下订单号、搜一下用户记录,这种活儿一个小模型完全能干。但现有系统不管三七二十一,每一步都让强模型亲自生成,造成了巨大的浪费。

这就好比一个三甲医院的主任医师,每天要给上百个病人量体温、测血压,这些本该护士做的事情,全被他一个人扛了。时间都耗在了琐碎事务上,真正需要专业判断的时刻反而被拖慢了。

这篇来自香港科技大学(广州)、剑桥大学等机构研究者的论文,提出了一个叫SpecAgent的方案,核心思路就一句话:让强模型别再自己上手干活了,改去当审稿人,审核弱模型干的活就行。

过去的分工方式为什么不够好

在SpecAgent出现之前,业界已经尝试过几种让"强弱模型搭配干活"的办法,但都有各自的硬伤。

第一种叫路由(Routing),简单说就是来一个任务,先判断这个任务该交给强模型还是弱模型处理,一锤子买卖,分配完就不管了。问题是任务往往不是铁板一块,一个客服对话里,可能前半段很简单弱模型能搞定,后半段突然冒出个复杂的政策判断,这时候路由的局限就暴露出来了,因为它是按整个任务来分配的,粒度太粗。

第二种是协作型智能体,比如论文里提到的AgentCollab,这种方法会在执行过程中动态判断"这一步该不该换成强模型来做"。听起来已经比路由聪明多了,但本质上还是没有摆脱"谁上场谁从零写"的逻辑,强模型一旦接管,还是得一个字一个字往外蹦着生成,没有真正省下算力。

第三种是推测执行(Speculative Execution),这个概念其实借鉴自"推测解码"技术。推测解码*:一种加速大模型生成文字的技巧,让一个小模型先猜接下来可能蹦出什么词,大模型再一次性验证这些猜测对不对,对的就直接采纳,省去大模型自己一个字一个字算的功夫。

把这个思路搬到智能体领域后,变成了让小模型先猜接下来该调用什么工具、执行什么动作,大模型再去验证。但这里有个很致命的限制:验证的标准是"小模型的动作是不是和大模型自己会做的动作完全一致"。

这个限制有多要命?你想想,同一个退款问题,可能有十种查询顺序都能查到正确答案,大模型自己可能习惯先查订单再查政策,小模型习惯先查政策再查订单,两者殊途同归,但只要顺序不一样,这套系统就会判定"不匹配",把小模型的工作成果整个扔掉,让大模型重新做一遍。

这就像老板要求实习生写报告必须一字不差地按照他自己的写法来写,哪怕实习生写的内容完全正确、逻辑也没毛病,只要措辞和老板设想的不同,就直接打回重写。这种近乎洁癖的"精确匹配"要求,等于完全浪费了小模型已经做对的那部分劳动。

研究者们正是看到了这一层,才会去想:能不能换个判断标准,不是看小模型做得像不像强模型,而是看小模型做得对不对?

SpecAgent到底在干什么

SpecAgent的核心设计,建立在一个很朴素但很关键的观察上:智能体执行的动作可以分成两种,一种是"读",一种是"写"。

读操作(比如查询数据库、搜索记录)不会改变外部世界的状态,查错了也没关系,大不了把这条记录从对话历史里删掉,世界还是原来的样子。但写操作(比如真的执行了一笔退款、真的提交了一个订单变更)一旦发生,就覆水难收了,哪怕后面发现错了,也没法简单地"撤销"。

这个区分非常重要,因为它决定了什么时候需要谨慎、什么时候可以放手去做。

基于这个洞察,SpecAgent设计了一个"起草、审核、修复"的三步循环。

第一步是起草。弱模型(论文里用的是参数量4B的Qwen3.5-4B)拿到任务后,开始一步步执行。只要遇到的是读操作,它就直接真实地执行,拿到真实的查询结果,继续往下走。这意味着弱模型的每一步决策,都是建立在真实观测到的信息之上,而不是凭空想象的。它可以一口气连续执行好几个读操作,形成一段"草稿",直到遇到第一个写操作(比如要真的去修改一条订单记录了),这时候它就把这个动作"攥在手里",先不真的执行,等强模型来审核。

第二步是审核。强模型(论文用的是397B参数的Qwen3.5-397B-A17B)这时候登场了,但它不是重新把前面的步骤再做一遍,而是把弱模型起草的这一整段内容,一次性读进去,判断"这一串动作里,前面多长的一段是合理有效的"。这里的判断标准不是"是不是和我自己会做的一样",而是"朝着解决任务的方向,这步是不是站得住脚"。这种判断方式叫语义验证(而不是逐字匹配验证),它能保留住弱模型做对的那部分进展,哪怕弱模型的查询顺序、参数选择和强模型设想的不一样。

第三步是修复。如果强模型发现草稿里从某一步开始不对了,它会指出具体哪一步出问题,并且尽量直接给出一个修正后的动作,这样就不需要再单独生成一轮完整回复。只有当问题比较复杂、没法简单替换一个动作就解决时,强模型才会亲自接手,生成一步修复动作。

这里有个技术细节特别巧妙:强模型审核草稿的时候,用的是"预填充(prefill)"方式,而不是"解码(decode)"方式。

预填充*:模型一次性把一整段文字读进去做理解和判断的过程,可以并行处理,速度快;解码:模型一个字一个字往外生成文字的过程,必须严格按顺序来,前一个字没生成完不能生成下一个,所以慢。

这个区别才是整套方案真正省资源的根本原因。强模型生成一段文字需要一个字一个字地算,每算一个字都要把整个模型的参数从显存里重新读一遍,这个过程受限于显存带宽,速度上不去。但审核一段已经写好的文字,可以把这段文字整个塞进去一次性处理完,不需要逐字生成,算得快得多。

这就好比让一个大厨亲自把一道菜从头炒到尾,和让大厨尝一口徒弟炒好的菜、点评几句,两者耗费的精力天差地别。如果不采用这种"预填充审核"而是让强模型逐字重新生成整个判断过程,那省下来的时间优势基本就荡然无存了,因为生成判断本身也是一个字一个字来的慢活。正是因为审核可以用并行的预填充来完成,只有最后给出的"判决书"(也就是接受到第几步、给出什么修复建议)才需要逐字解码,而判决书通常很短,这才换来了实打实的速度提升。

论文给出了一套算账的公式

研究者们没有止步于"感觉上应该更快",而是专门推导了一套数学模型,来说明到底能省多少、什么情况下能省。

论文提出了两个关键假设。第一个假设是"解码受限于显存带宽":只要强模型的服务批次不太大,它解码每一步的时间和显存流量,基本上和它要走多少次"权重读取"成正比,解码一个词算一次,预填充一整段算一次。第二个假设是"任务级接受率":每个任务都有一个平均的"每步被接受的概率",这个概率跟任务难度、弱模型的能力、强模型审核的严格程度都有关系。

基于这两个假设,论文推导出一个核心公式(Proposition 1),大致意思是:SpecAgent相对于"强模型全程亲自上阵",强模型每提交一步所花费的时间和显存流量,会随着接受率的提升而大幅下降。当弱模型的草稿几乎全被接受时,强模型的开销可以降到原来的几分之一;但如果弱模型老是被拒,每次拒绝都要强模型单独生成一步修复,那省下来的部分就会被"修复成本"重新吃掉。

这个结论其实特别直观:审核的性价比,取决于草稿的"命中率"有多高。

这也引出了论文的第二个推导(Proposition 2),关于端到端的真实耗时。这里有个很现实的约束:强模型省时间不等于整个任务跑得更快,因为每一步最终都得先由弱模型起草出来,如果弱模型自己跑得很慢(比如在边缘设备上,算力有限),那省下来的强模型时间可能完全被拖慢的起草过程给抵消掉了。

这个道理就像一个团队里,领导审批文件审得再快,如果底下交材料的人本身效率低,整个流程照样快不起来。所以SpecAgent真正发挥威力的场景,是弱模型起草本身也足够快的情况,这一点在后面的实验数据里会体现得很明显。

实测效果:接近强模型的质量,却只花一半的资源

论文在四个场景下做了详细测试:τ?-Bench(模拟客服对话的多轮交互测试)、AutomationBench(长链条商业工作流任务)、VitaBench(模拟外卖配送这类生活服务场景)、以及MCP-Atlas(真实的工具服务器环境,模拟边缘设备加云端大模型的部署方式)。

先看最核心的质量数据。

| 测试集 | 弱模型单干 | 强模型单干 | SpecAgent | 差距恢复比例 |

|---|---|---|---|---|

| τ?-Bench 航空 | 80.0% | 86.0% | **86.0%** | 100% |

| τ?-Bench 零售 | 80.4% | 88.6% | **87.7%** | 89% |

| AutomationBench | 6.8% | 15.2% | **10.5%** | 44% |

| VitaBench 配送 | 34.0% | 48.0% | **44.5%** | 75% |

在τ?-Bench的航空场景里,SpecAgent的表现和强模型完全打平,都是86.0%,而弱模型单干只有80.0%。零售场景也只差了不到一个百分点。这说明在这些相对结构化、弱模型本身就能应付一部分的场景里,审核机制能够几乎完整地保留强模型的决策质量。

再看资源消耗。这才是这篇论文真正想说的重点。

在τ?-Bench航空场景里,SpecAgent把估算的显存读取量压到了强模型单干的43%到45%,墙钟时间(也就是真实等待的时间)压到了41%,强模型的调用次数从13.8次骤降到3.1次。换句话说,原来强模型要吭哧吭哧生成十几次,现在它只需要出面审核一下,剩下绝大多数时间都是弱模型在那儿忙活。

有意思的是,计算量(FLOPs,也就是浮点运算次数)其实是上升的,涨了30%到38%,VitaBench场景甚至涨了87%。这乍一看很矛盾,省了时间和显存,怎么计算量反而更多了?

答案就在前面说的"预填充 vs 解码"的区别上。预填充虽然要把整段上下文重新塞进模型算一遍,计算量不小,但它可以并行处理,速度快;解码虽然每一步计算量小,但必须一个字一个字来,还要反复读取显存里的模型权重,这个过程特别耗时间和显存带宽。所以SpecAgent本质上是用"多算一点,但算得快"换来了"少读显存,少等时间",这是一笔对的账,前提是你的硬件瓶颈本来就卡在显存带宽上,而不是卡在算力上。这也是为什么论文反复强调,这套方案特别适合"显存带宽受限"的部署场景。

再对比一下现有的协作方法。论文测试了AgentCollab和Speculative Actions两种已有方案。

AgentCollab虽然质量能接近强模型,但它需要更多的强模型调用(航空场景18.5次 vs SpecAgent的3.1次),显存读取量是SpecAgent的1.6到1.9倍,耗时是2.6到3.1倍。Speculative Actions的问题更明显,论文作者直接把原作者公开的代码移植过来测试,发现在τ?-Bench上,它的表现甚至低于弱模型单干(航空场景72.0%,零售场景只有48.5%),原因是它在后台做猜测性的工具调用时,没有严格限制在"只读"操作范围内,可能已经悄悄改变了环境状态,这种做法谈不上"无损"。

在MCP-Atlas这个更贴近真实世界的边缘云协作测试里,研究者分别搭配了三种不同的强模型云端服务(Qwen3.5-397B、GLM-5、DeepSeek-V4-Flash),弱模型始终跑在一块本地的RTX 5090显卡上。结果显示,SpecAgent能恢复53%到75%的质量差距,而云端强模型要生成的输出词数只有原来的36%到50%,对应的API调用费用也降到了原来的59%到81%。

这个场景其实很贴近现实世界的一个痛点:很多企业想用强模型但又怕调用成本太高,边缘设备跑个小模型凑合用又怕质量不够。SpecAgent给出的答案是,让小模型在本地先干大部分活,只在关键节点把"审核权"交给贵的云端模型,省下来的真金白银看得见摸得着。

哪些设计选择是关键,哪些去掉了会出问题

论文做了一系列消融实验(也就是把某个设计单独拿掉,看看效果会变成什么样),用来验证每个设计决策到底是不是必要的。

第一个实验是关于"在哪里设置审核关卡"。如果把审核范围扩大,不仅在写操作前审核,连每一个读操作、每一次回复用户的消息都要审核一遍,结果是强模型调用次数直接涨了三倍多,显存读取量涨了63%到79%,耗时涨到2.5到3倍,但质量反而从87.7%掉到了84.2%。

这个结果有点反直觉:审得更勤快,质量不但没提升,反而下降了。原因可能是过度审核打断了弱模型本来连贯的探索节奏,强模型频繁介入反而增加了误判的机会。这也印证了论文最初的设计哲学:只在"覆水难收"的关键时刻才需要人工把关,其余时候该放手就放手。

第二个实验关于"修复机制"。如果去掉"强模型在指出错误时顺带给出修正建议"这个设计,每次拒绝都要强模型单独再生成一轮修复,质量从87.7%掉到82.5%,这说明把诊断和修复合并在一起处理,不仅省资源,居然质量也更高,可能是因为审核时强模型已经把上下文吃透了,顺手给出修正比事后重新理解一遍更准确。

第三个实验关于"验证标准该多严格"。如果把语义验证换成"精确匹配",也就是只有弱模型的动作和强模型自己会做的动作完全一样才算通过,质量同样掉到82.5%,而且计算量还涨了70%,因为大量本来正确的弱模型步骤被误判、推倒重来。这组实验基本坐实了论文开篇提出的那个判断:精确匹配对智能体任务来说太苛刻了,语义层面的宽容验证才是让"审核"这件事真正划算的关键。

这套方法什么时候不好使

论文也很坦诚地指出了这套方法的边界。

在MCP-Atlas的边缘云部署场景里,墙钟时间并没有明显下降,本地弱模型跑一个任务大概需要109秒,云端强模型单干也就105到151秒,两者差不多。这是因为论文第二个推导公式里提到的"弱模型起草耗时"这一项,在这个场景下占了大头,本地小模型虽然便宜,但跑得不见得比云端大模型快多少,省下来的好处更多体现在网络调用量和费用上,而不是时间上。

另外,论文提到的"显存带宽受限"假设也有适用范围。当强模型服务的并发批次足够大(论文给出的临界点大概是37个序列,针对他们测试用的H20显卡),解码过程就会从"受限于显存读取"转变为"受限于纯计算量",这时候前面提到的30%到87%的计算量增长,就会真正开始拖慢速度,而不再是免费的。换句话说,SpecAgent更适合单次请求、低并发的部署场景,如果你的服务器本来就在高并发满载运转,这套方案的优势会打折扣。

写在后面

读完这篇论文,我印象最深的其实不是那套精巧的"起草-审核-修复"流程,而是论文里反复强调的一个判断:读操作和写操作的区分,才是整个设计能够成立的地基。

这个区分看似简单,甚至有点"显而易见",但它解决的其实是一个很根本的矛盾:既要让弱模型敢于大胆探索,又不能让错误造成无法挽回的后果。很多系统设计失败,恰恰是因为没有想清楚"哪些动作是可逆的"这件事,把所有操作一视同仁地加上同样的保护措施,结果效率全被拖垮;或者反过来,为了追求效率把保护措施全部省掉,结果出了事故没法收场。SpecAgent的聪明之处在于,它把这种二元区分当成了整个协议设计的起点,而不是事后补的一个安全阀。

另一个让我觉得值得琢磨的细节,是论文里那张展示"计算量上升但时间下降"的图。这组数据乍看矛盾,细想却揭示了一个经常被忽略的事实:评估一个AI系统到底"高效不高效",不能只看一个指标。计算量、显存流量、墙钟时间、调用费用,这几个轴经常是互相拉扯甚至此消彼长的关系。论文专门把这几个维度拆开单独汇报,而不是笼统地说"效率提升了多少",这种做法本身就是一种诚实,也提醒着我们,任何号称"更高效"的方案,都值得多问一句:你省的到底是哪种资源,又用什么资源去换的。

Q&A

Q1:SpecAgent是什么?

A:SpecAgent是一种让强模型和弱模型协作完成智能体任务的方法,弱模型负责起草执行步骤并真实执行只读操作,强模型只在关键的写操作前进行一次性审核,判断保留多少草稿、修复哪里出错,而不是每一步都亲自生成。

Q2:SpecAgent能省多少资源?

A:在τ?-Bench测试中,SpecAgent能把显存读取量降到强模型单干的43%到57%,墙钟时间降到41%到54%,同时质量只比强模型单干低不到一个百分点,在边缘云部署场景下还能让云端大模型的调用费用降到59%到81%。

Q3:SpecAgent和之前的推测解码方法有什么不同?

A:以往的推测方法要求弱模型的动作和强模型自己会做的完全一致才算通过,太过苛刻;SpecAgent采用语义验证,只要弱模型的步骤是朝着任务目标的合理动作就予以保留,不要求逐字匹配,这样能留住更多弱模型做对的进展。

文章标签智能体大模型

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。