你有没有想过,为什么现在很多AI产品用起来总觉得差点意思,或者贵得离谱?
答案可能藏在一个很少有人注意的地方:模型选择。
现在能自动操作电脑的AI助手,专业说法叫计算机使用智能体
**计算机使用智能体**:能看懂屏幕截图、理解自然语言指令,并自动执行点击、输入等操作来完成任务的AI系统
这类系统面临一个两难选择。用最强的模型,比如Claude Opus这种顶级AI,效果好但贵得吓人,一个任务跑几十步甚至上百步,成本蹭蹭往上涨。换成便宜的开源小模型,钱是省了,但遇到稍微复杂点的任务就掉链子,经常卡在某个步骤出不来。
这就像请私人医生还是去社区诊所的选择题。顶级专家随叫随到当然放心,可你感冒发烧也喊专家来家里诊断,那账单会让你心疼到失眠。社区医生处理常见病没问题,但真遇上疑难杂症,他可能也束手无策,甚至耽误病情。
有没有折中方案?让社区医生先看,看不明白了再转诊专家。这个思路放到AI领域,就是论文要讲的"弱强升级"方法,英文叫weak-to-strong escalation,简称W2SE。
问题没那么简单:什么时候该转诊?
听起来很美好对吧,小模型先顶上,不行了再换大模型。但真正做起来,这里面藏着两个大坑。
第一个坑是怎么判断"不行了"。你总不能让AI自己说"我不会了",因为AI经常嘴硬,明明做错了还自信满满地继续瞎搞。之前有研究想办法解决这个问题,但要么得找另一个AI当监工,实时盯着每一步操作,这又是一笔额外开销;要么得专门训练一个判断模型,又要标注数据又要训练,折腾一圈下来省的钱可能还不够训练成本。
第二个坑更隐蔽:换成大模型之后就万事大吉了吗?
并不是。
强模型照样会在复杂任务里迷路,会陷入重复操作的死循环,会误解进度。但问题是,顶级AI通常是通过接口调用的黑箱服务,你压根看不到它内部在想什么,它嘴上说的"我很确定"根本靠不住。
这篇论文的研究团队来自Simular公司和威斯康星大学麦迪逊分校,他们意识到这两个问题其实是一体两面:既要知道什么时候该把任务交给强模型,也要知道交出去之后怎么继续盯着。
他们管这套方案叫LEASH,中文可以理解成"牵引绳"。核心思路是:弱模型平时自己干活,一旦感觉吃不消就把活儿甩给强模型,但即使甩出去了,弱模型也不是闲着,它要变身观察员,继续在旁边盯着强模型别出岔子。
怎么知道AI"心虚"了:从隐藏状态里读信号
LEASH最巧妙的地方,在于它判断AI要不要换人,靠的不是让AI自己说,而是偷偷看AI大脑里的激活模式。
这需要先解释一个概念。
**隐藏状态**:神经网络在处理信息时内部产生的数值表示,可以理解成AI"思考过程"留下的数字痕迹,虽然不是人类能直接读懂的语言,但蕴含着模型对当前情况的判断倾向
研究者发现一个有意思的现象:大语言模型在生成答案之前,它的隐藏状态里其实已经悄悄编码了"这个任务我大概率能不能做成"的信息。这不是什么玄学,之前已经有不少研究证实过类似现象,比如模型在撒谎的时候,内部状态和说真话时是能被区分开的。
那怎么利用这个信号呢?
团队的做法是先让弱模型跑一批任务,把这些任务执行过程中产生的隐藏状态都记录下来,同时标注每个任务最终是成功还是失败。这样就攒出了两个"参考库":一个记录任务刚开始时的状态和结果的对应关系,一个记录每一步操作时的状态和结果的对应关系。
接下来,每当新任务来了,就去比较当前这个隐藏状态,到底是更像历史上那些成功案例,还是更像那些失败案例。这个"像不像"用的是一种叫马氏距离的统计方法,本质上是在衡量当前状态离"成功聚落"和"失败聚落"分别有多远。离失败越近,不确定性评分就越高,就该考虑换人了。
这个设计最妙的一点是:它完全不需要额外的模型调用。
因为弱模型生成动作的时候本来就要产生这些隐藏状态,现在只是多看一眼,不多花一分钱,也不多等一秒钟。
这就好比一个老厨师炒菜,他翻勺的手感、闻到的焦糊味,本来就是炒菜过程中自然产生的信息。你不需要额外请个人来专门"检测焦糊程度",厨师自己的手感动作里已经藏着这个判断了,你只是学会怎么读懂这个信号而已。如果非要再雇个品尝员站旁边盯着,那不仅多花钱,品尝员还得等菜炒完才能尝,反馈滞后,根本来不及补救。
三层防线:从任务开始到执行中再到交接后
LEASH具体怎么运作,分成三层。
第一层是任务级别的初始判断。一个新任务刚交给弱模型的时候,还没开始执行,LEASH就先看一眼任务要求和初始屏幕截图对应的隐藏状态,判断这个任务是不是一开始就超出了弱模型的能力范围。如果是,直接在起跑线上就交给强模型,省得浪费弱模型那几步无效尝试。
第二层是执行过程中的实时监控。有些任务看着不难,但执行到某一步突然卡壳了,比如弱模型一直在某个菜单里绕圈圈点不出想要的效果。这时候runtime escalation gate(运行时升级门)就会发挥作用,持续监测每一步操作对应的隐藏状态,一旦发现某一步的不确定性超过阈值,立刻把控制权移交给强模型。
第三层最有意思,是交接之后的"影子监督"。
**影子观察员**:弱模型在失去执行权之后转变成的监督角色,它不再动手操作,但会每隔几步重新生成一个"如果是我会怎么做"的候选动作,用这个候选动作对应的隐藏状态继续评估当前局势是否异常
你可能会问,弱模型不是已经不行了吗,凭什么还能监督强模型?
这里的逻辑其实挺微妙的。论文的假设是:如果连弱模型都觉得这一步很难拿捏(不确定性很高),那大概率说明这一步本身客观上就比较棘手,强模型遇到类似情况翻车的概率也会偏高。换句话说,弱模型测的不是"我能不能做对",而是"这个局面本身有多难"。
这就像请了一个经验丰富的老保安给新来的特级安保顾问打下手。老保安可能处理不了真正的突发状况,但他干这行多年,一看到某个区域人员异常聚集、气氛不对劲,就会本能地觉得"这里有情况"。这种直觉虽然不能替他解决问题,却完全可以用来提醒顾问多留个心眼。如果完全不用这层预警,等顾问自己意识到情况复杂往往已经晚了,错过了最佳干预时机。
一旦影子观察员触发警报,系统会怎么处理呢?它不会粗暴打断强模型,而是先把强模型当前这一步还没执行的操作撤回,然后用一种"反思提示"让强模型用更高的推理强度重新审视自己的进度,再做一次决策。整个流程最多允许触发六次这样的检查,而且一旦连续两次检查都真的改变了强模型原本要做的动作,系统就不再继续触发检查了,避免过度打扰。
实验结果:省了快两成钱,效果还不打折
说了这么多设计思路,到底管不管用?
论文在OSWorld这个测试平台上做了验证,用了四种开源弱模型搭配Claude Opus 5作为强模型。最亮眼的结果出现在Qwen3.5-35B-A3B这个组合上:LEASH实现了73.66%的任务成功率,每个任务花费0.4117美元。而同样这个任务集,如果全程都用Claude Opus 5跑,成功率是72.90%,但每个任务要花0.5094美元。
也就是说,LEASH不仅没有牺牲效果,还省了19.2%的成本。
更能说明问题的是和随机升级策略的对比。所谓随机升级,就是不管三七二十一,随便挑一部分任务扔给强模型,挑的比例和LEASH一样。结果在相同的升级比例下,LEASH比随机策略高出6.55到11.94个百分点。这说明LEASH识别出来的不确定性信号确实有效,它选中的那些任务,是真正需要强模型介入的任务,而不是瞎蒙对了。
论文里还引入了一个叫"性能缺口恢复率"的指标,用来衡量升级策略到底弥补了弱模型和强模型之间多大的差距。LEASH能恢复75%到102%的差距,而随机策略只能恢复37%到69%,同时LEASH的花费只有全程用强模型的69%到81%。
单独看交接后的监督效果也很说明问题。研究团队专门挑出那些触发了影子监督警报的任务做分析,发现在这部分任务里,全程用强模型的成功率只有51.6%,说明这些任务本身确实很难。而开启影子监督之后,成功率提升到64.5%,没开启的话只有48.4%。这证明影子观察员确实抓到了那些"交接后还会迷路"的高危场景,干预起到了实际作用。
论文还做了几个消融实验,把LEASH拆开一块一块看哪个部分贡献最大。结果显示,光加一个负责任务拆解和进度检查的管理模块,成功率从37.40%提升到41.15%,提升有限。真正带来大幅跃升的是加入不确定性驱动的升级机制,成功率一下子冲到67.94%。而在此基础上再叠加影子监督和干预,又进一步提升到73.66%,且额外成本很低。这个层层递进的结果,恰好印证了论文三层设计思路的合理性:每一层都在解决不同阶段的问题,缺一不可。
理论上为什么成立
论文还从数学角度给出了一个站得住脚的解释,证明按不确定性评分来决定是否升级,确实是在固定预算下能做出的最优选择。简单说,如果把弱模型会失败的任务都排好序,按不确定性从高到低挑出一定比例去升级,这种挑法能抓到的失败案例,比任何同等比例的随机挑选方式都多。这个证明借用了统计学里一个经典的假设检验思想,叫奈曼-皮尔逊引理,原本是用来证明在给定错误率下如何让检测效果最大化的,这里被巧妙地搬了过来。
不过论文作者也很坦诚地指出了局限性:这套理论分析目前只覆盖了任务开始前的那次初始判断,对于执行过程中实时监测的那个环节,理论上更复杂,属于一个最优停止问题,目前还没有完整解出来,留给了后续研究。
写在后面
读完这篇论文,最让我意外的一点其实不是LEASH的效果有多好,而是它选择的切入点。
很多做AI效率优化的研究,第一反应都是"训练一个新模型来做判断",仿佛不训练点什么就不算做了工作。但这篇论文反其道而行之,它说你压根不需要训练任何东西,模型自己跑过的历史记录里,早就藏着你需要的全部信息,你只是没学会怎么读。这种"向内求"而不是"向外加"的思路,其实挺值得琢磨的,尤其是在现在这个动不动就要微调、要蒸馏、要搞一堆新数据的大环境里。
还有一个细节我觉得特别值得单独拎出来说:影子监督这个设计,本质上是让一个能力更弱的系统去监督一个能力更强的系统。这听起来有点反常识,但仔细想想又挺合理,因为弱模型测的从来不是"我能不能做对",而是"这件事客观上有多难"。这个区分其实挺微妙的,也提醒我们,在设计监督机制的时候,监督者不一定非要比被监督者更强,关键是监督者要能提供被监督者自己给不出的那个视角。
这篇论文目前只在电脑操作这一个场景里验证过效果,能不能推广到别的智能体任务,比如写代码、做科研助理,还得打个问号。另外论文自己也承认,不确定性评分衡量的是弱模型会不会失败,但这不完全等于升级到底值不值,毕竟有些任务是强弱模型都搞不定的,这种情况下再怎么精准识别不确定性也没用。这个缝隙,大概就是下一篇论文要去填的地方。
Q&A
Q1:LEASH是什么?
A:LEASH是一个训练免费的框架,让弱AI模型默认执行任务,通过读取其隐藏状态里的不确定性信号来判断何时该把控制权交给更强的AI模型,并且在交接后让弱模型继续充当监督角色。
Q2:LEASH怎么判断该不该升级到强模型?
A:LEASH比较弱模型当前隐藏状态与它历史上成功和失败案例的相似程度,用马氏距离衡量,越像失败案例不确定性评分越高,达到阈值就触发升级,整个过程不需要额外的模型调用。
Q3:LEASH相比直接用最强AI模型能省多少钱?
A:在论文实验中,搭配Qwen3.5-35B-A3B使用LEASH,任务成功率73.66%已经超过全程使用Claude Opus 5的72.90%,但成本只要0.4117美元,比全程用强模型便宜19.2%。







