你有没有遇到过这种情况：做一道难题，反复检查了三遍，还是觉得哪里不对，但就是找不出问题在哪。这时候你会怎么做？多想一会儿，还是直接去问懂的人？
大部分人的直觉是先自己再想想。毕竟多算一遍总没坏处吧。但如果这道题卡住你的不是计算失误，而是你压根没学过某个知识点呢？那你再想十遍,答案也不会从天上掉下来。你缺的不是耐心,是信息。
这正是一群来自KAIST的研究者盯着的问题。他们发现,现在很流行的"让AI多想一会儿"这个套路,其实有一个巨大的盲区没人认真研究过：AI到底什么时候该多想,什么时候该停下来去问别人?
**当"多想一会儿"成了万能药**
这两年AI圈子里最火的一个思路叫做测试时计算扩展。
推理模型*：一类专门设计用来"思考"的大语言模型,它们在给出最终答案前会生成一长串思考过程,类似人做题时打的草稿。
简单说就是让模型在回答之前多"想"一会儿,生成更长的推理过程,或者反复采样多次取最好的结果,又或者让模型自己检查自己写的东西,发现错误就改。这套操作在很多基准测试上确实管用,尤其对那些体积小、跑得快的小模型格外有诱惑力。毕竟大模型又贵又慢,如果能靠"多想"把小模型的水平拉到接近大模型,那简直是白捡的便宜。
问题是,这个"多想就会好"的假设,真的站得住脚吗?
研究团队做了一件挺硬核的事。他们找来两个模型家族,从0.6B到14B不同规模一共八个模型,在竞赛数学题和研究生级别的科学题上跑了几十万次生成,专门去观察模型在思考过程中说"等等""也许""我需要再检查一下"这类犹豫词的时候,后面到底发生了什么。
结果很打脸。这些犹豫词在小模型身上出现的频率,和大模型比起来毫不逊色,甚至更高。但这些犹豫真正转化成正确答案的比例,却随着模型变小急剧下降。换句话说,小模型不是不会怀疑自己,它们知道自己可能错了,只是怀疑完了之后,依然想不出对的答案。
这就好比一个学生做数学题,写到一半停下来说"等等,这里好像不对",然后咬着笔头想了半天,最后还是写了原来那个错误答案。他知道错了,但脑子里根本没有正确的解法可以调用。你让他再想十分钟,结果还是一样。因为问题不在于他不够专注,而在于他从来没学过那个知识点,脑子里那块空白是想不出来的。
**两种卡壳,一种药治不好另一种**
研究者把这种"知道错了却改不对"的情况,拆解成了两种截然不同的卡壳类型。
第一种叫执行瓶颈。
执行瓶颈*：指正确答案理论上是可以从当前思路推出来的,只是模型执行得不够好,通过反思、验证、换个角度重新推理,是有机会推出正确答案的。
第二种叫知识瓶颈。
知识瓶颈*：指模型压根不掌握解题所需的关键知识或信息,靠内部反复琢磨是推不出正确答案的,只有引入外部信息才能打破这个局面。
这个区分听起来简单,但研究者是怎么在实验里量化它的呢?他们的做法是:如果从某个思考状态出发,采样8次续写,只要有1次答对了,就算这个状态"执行型",说明正确路径是摸得到的;如果8次全错,就暂时归为"知识型",说明当前这条路走不出正确答案。
为了验证这个划分是不是靠谱,他们还专门做了个补充实验,把采样次数从8次一路加到64次,结果发现,随着采样次数增加,一部分原本判定为"全错"的状态确实会跑出一两个正确答案,证明"全错"不代表"绝对不可能对",只是在有限尝试下很难碰到。但更关键的是,即便把这些状态重新归类,后续再给它们注入外部信息,依然能带来明显提升,而单纯多想,提升几乎为零。这说明这个划分标准虽然不完美,但抓住的东西是真实存在的。
那接下来的问题就是:自我反思这个操作,到底对哪种卡壳有用?
研究者设计了一组对照实验。他们让模型继续往下推理,同时故意屏蔽掉"等等""也许"这类犹豫词,做一个"不许犹豫"版本的对照组;再让模型正常犹豫一次,看看两者最终答对的比例差多少。结果显示,自我反思确实能提高答对的概率,但这个提升几乎全部集中在"执行型"状态上,在"知识型"状态上几乎不起作用。反思带来的更多是把答案的概率分布收拢,让本来就有点倾向正确答案的模型,更坚定地走向那个答案,而不是凌空造出一个原本完全没有的正确答案。
这里就要引入一个很关键的度量工具了。
答案熵*：衡量模型多次续写后给出答案的分散程度,熵越低说明答案越集中,熵越高说明答案五花八门、模型自己都不确定该信哪个。
研究者发现,自我反思有效的时候,往往伴随着答案熵的下降,也就是模型的想法越来越收敛,越来越"笃定"。这就像开会讨论一个方案,一开始大家七嘴八舌各有各的想法,讨论到最后逐渐统一到一个共识上。但如果一开始大家讨论的方向本身就是错的,开再久的会,共识也只会是错误的共识。
**给模型塞一张小纸条,效果立竿见影**
既然自我反思治不好知识瓶颈,那能治好的是什么?
研究者接下来做了一个更直接的实验。他们用DeepSeek-V4-Pro这个更强的模型,针对每道题生成一段"提示信息",这段提示不会直接给出答案,但会给出解题需要用到的关键概念、公式或思路方向。然后他们把这段提示塞进那些已经卡壳的推理状态里,看看后续续写的正确率会不会提升。
对比组设置得很严谨:一组是插入鼓励反思的话,比如"等等,这个真的对吗"；一组插入无关的提示,拿别的题目的提示信息硬塞进来,保留"多了一段话"这个形式但去掉相关性；还有一组插入真正相关的提示信息。
结果是,无关提示几乎没用,鼓励反思的话只带来很小的提升,而真正相关的外部信息带来的提升幅度明显更大。这个差距不是靠生成更长的文字堆出来的,而是靠信息本身的相关性带来的。这就好比考试的时候监考老师随口说一句"再检查检查"和真的有人偷偷塞给你一张写着关键公式的纸条,效果完全不是一个量级的。
如果没有这张"纸条",单靠反复琢磨能不能走出知识瓶颈?数据给出的答案很明确:几乎不能。这也解释了为什么很多号称"让模型多想"的产品,在真正需要专业知识的场景里表现平平,因为那些场景卡住模型的根本不是思考深度不够,而是脑子里压根没那块知识。
更有意思的发现是,知识瓶颈在不同学科里的分布很不均匀。研究者统计发现,在数学题里,"执行型"卡壳占了55%,说明很多数学题卡住模型是因为算错了或者思路没走通,继续想是有希望的;而在科学题里,"知识型"卡壳占到了89%,说明科学题更依赖具体的事实性知识,模型脑子里没有那块知识,想再多也没用。这个对比也提示我们,不同领域对"多想"这件事的容忍度是不一样的,越依赖具体事实知识的领域,单靠内部反思的天花板就越低。
还有一个有点反直觉的结果。你可能会觉得,小模型知识本来就少,给它塞信息,提升应该更明显才对,毕竟提升空间更大。但实验数据显示恰恰相反,模型规模越大,对外部信息的利用效率反而越高。小模型不仅更容易掉进知识瓶颈,拿到救命的信息之后,也更不会用。这意味着小模型面临的是双重困境,一边是知识储备本身不够,另一边是即便别人递来了知识,消化利用的能力也打折扣。
**教小模型学会"什么时候该打电话"**
搞清楚了问题所在,研究团队接下来干了一件更实际的事:训练一个小模型,让它自己学会判断当前是执行瓶颈还是知识瓶颈,并在遇到知识瓶颈的时候,主动去问一个更强的模型。
这个系统被命名为FlyBy。它的核心设计是给小模型配上一个多档位的查询工具。
多深度查询工具*：让模型在推理过程中可以主动调用外部更强模型,并且可以选择调用的"深度",深度越高,后端模型越强、允许的回复越长,但花费也越高。
具体来说,这个查询工具设了三个档位,分别对应不同强度的外部模型和不同的响应长度上限,价格也依次升高。为了防止小模型偷懒,直接把整道题甩给外部模型让它代劳,系统做了两个限制:外部模型看不到原始问题,只能看到小模型提出的具体问题;同时系统会检测查询内容和原题的重叠度,一旦发现小模型想整段抄题目去问,直接拒绝这次查询。
这个设计其实是在模拟一种很朴素的求助礼仪。想象你去请教一位很忙的专家,你不能把整份考卷甩给他让他帮你做完,你只能挑出自己卡住的那个具体知识点去问,比如"圆柱体的迎风面积公式是什么",而不是"这道流体力学题怎么做"。这种克制的提问方式,反而能让你在拿到答案后自己完成剩下的推理,而不是把整个思考过程都外包出去。如果不这样限制,模型很可能学会的不是"识别知识缺口",而是"想办法让外部模型帮我作弊",那这个系统训练出来的就不是一个会思考的助手,而是一个偷懒的传话筒。
训练分成两步。第一步是监督微调,先让模型学会怎么发起查询、怎么把外部回复整合进自己的推理里。这一步用的数据量很小,只有475条,但筛选得极其苛刻:先让小模型在没有工具的情况下答一遍题,记录失败的那些,再让强模型针对失败节点生成一个具体问题,拿这个问题去问不同深度的外部模型,只有当"没工具时8次全错,有工具后至少3次答对",这条数据才会被采纳进训练集。最终从800道候选题里,只筛出了95条真正靠外部信息"救活"的轨迹。
这个筛选标准之所以定得这么严,是因为如果训练数据里掺杂了太多"其实靠自己也能蒙对"或者"查了也没用"的案例,模型学到的判断标准就会很模糊,分不清什么时候真正需要求助。这就像教一个新手医生什么时候该转诊,如果拿来当教材的案例里一半是"其实不转诊也能治好"的病例,教出来的医生大概率会养成乱转诊或者不该转诊时也不转诊的坏习惯。
第二步是强化学习,让模型在80步训练里学会权衡"值不值得查"。这里用到了一个成本感知的奖励机制,只有答对的轨迹才会被扣除费用惩罚,答错但省了钱的轨迹不会因为"省钱"而得到奖励。
成本感知强化学习*：一种训练策略,让模型在做对题的前提下尽量少花钱,但如果本身就没做对,省钱也不会有任何加分,防止模型为了省钱而故意摆烂。
这个机制的用意很直白:你不能因为一个学生考试全部空白交卷、一分钱补习费都没花,就说他很划算。省钱这件事只有建立在把事情办成的基础上才有意义。
**结果如何:小模型真的学会了"知道自己不知道"**
训练完成后的效果,数据摆出来相当扎实。
在六个跨领域的高难度基准测试上,一共筛出了1158道连Qwen3-4B这样的基础模型都答不好的难题,FlyBy-4B在这些难题上的pass@8指标达到45.96%,超过了参数量接近4倍的Qwen3-14B的41.64%,而推理成本只有Qwen3-14B的37%左右,相当于花更少的钱办了更大的事。
pass@8*：指对同一道题采样8次,只要有一次答对就算通过,用来衡量模型解决难题的覆盖能力。
更值得一提的是,即便只看单次回答的准确率,FlyBy-4B也是16.85%,超过了体积是它两倍的Qwen3-8B的15.31%。这说明强化学习带来的提升不是靠"多试几次撞大运",而是真正提高了单次推理的质量。
扩展到8B规模的时候,FlyBy-8B的pass@8达到51.81%,比Qwen3-14B高出10个百分点以上,而且推理成本依然更低。这个趋势也印证了前面的发现:模型越大,越能有效利用外部信息,所以放大到8B之后,收益不是线性叠加,而是进一步放大。
研究团队还拿了几个对照方法来比较。一个是专门针对高熵词做强化学习的ForkingRL,想法是重点优化模型在不确定的关键节点上的推理,但效果几乎和原版模型没差,再次印证了单纯强化"想得更细"这条路对知识瓶颈无效。另一个是类似Search-R1的检索增强方案,让模型学会在推理中调用搜索引擎,虽然比什么都不做要好,但明显落后于FlyBy这种直接问强模型的方式,即便Search-R1每次检索返回的文本平均有2015个字符,远远超过FlyBy平均105个词元的简短回复。这说明信息量大不代表有用,关键是信息对不对症。这就好比你去图书馆想找一个具体的公式,图书管理员给你搬来了一整摞相关领域的书,而不是直接翻到那一页告诉你答案,虽然信息确实相关,但你还得自己再费劲从中筛出真正需要的那一句话。
还有一个叫"开局查询"的对照方案,让模型在看到题目后先发一次查询,拿到回复再开始正常思考。这个方案表现不错,但研究者发现,题目越难,它和FlyBy的差距就越大。原因大概是,越难的题目,笼统地问一个大问题越难命中真正卡住的那个知识点。这也从另一个角度证明了FlyBy的核心价值不只是能连上更强的模型,而是先自己推理一段,精准定位到底缺什么信息,再去问,这个"先诊断再开药"的顺序本身就有价值。
**强化学习到底学到了什么**
有一个特别有意思的分析,研究者专门去验证学出来的这套查询策略,是不是真的在"知道什么时候问"这件事上做得对。
他们抽样50道题,在FlyBy发起查询的那个节点上,做两个分支:一个是真的执行查询,一个是强行压制查询,换成让模型继续多想,再用Qwen3-4B去检验这两种分支后续状态的价值变化。结果是,执行查询让状态价值平均提升了5.3个百分点,而继续多想,价值几乎没有变化,反而略微下降了。这个对比非常直接地证明,模型学会的查询时机选得很准,恰恰是在那些继续想也没用的节点上,它才选择去问。
另外一个观察也很有意思。监督微调阶段的数据里,只有单次查询的案例,理论上模型应该只学会"问一次就完事"。但强化学习之后,模型在后续多个回合里依然保持较高的继续查询概率,说明强化学习教会了模型一种超出示范数据本身的行为,反复地在局部思考和外部求助之间来回切换,直到问题真正解决。这就好比师傅只教了你怎么打一个结,你自己在实践中琢磨出连续打好几个结的技巧,这个技巧不是师傅直接传授的,是你在实际操作里练出来的。
研究团队还专门测试了固定查询深度和自适应深度分配的差异。如果始终只用最贵的深度3查询,准确率确实最高,但花费也最高;如果始终用最便宜的深度1,花费最低但准确率也最低。而FlyBy学到的自适应策略,做到了接近深度3的准确率,花费却只比深度1贵一点点。这说明模型不仅学会了什么时候该问,还学会了该问多深。
**经济账算下来还是划算**
考虑到实际部署中GPU价格和API价格都会波动,研究者还专门做了一轮经济稳健性测试,把API价格拉高10倍、GPU价格拉高3倍,分别看FlyBy是否还站在性价比最优的那条线上。结果显示,即便在这些极端价格场景下,FlyBy依然保持着不错的性价比优势,说明这套方案的经济性不是精心挑选出的一个特定价格窗口才成立的巧合。
研究者还专门检查过一个容易让人担心的问题:外部回复会不会直接泄露答案,让小模型不劳而获?他们随机抽样100道题,收集FlyBy触发查询后拿到的第一条成功回复,再用一个关闭"思考模式"的Qwen3-4B分别在"只看题目"和"题目加外部回复"两种条件下作答。结果加了外部回复后,准确率只从10.20%提升到12.16%,提升幅度很小,说明外部回复的价值主要不是直接泄题,而是真正被整合进了后续的推理过程里。
**换个查询后端会怎样**
一个自然的疑问是,这套策略是不是绑死在训练时用的DeepSeek系列后端上,换一个外部模型就不灵了?研究者把训练好的FlyBy-4B策略原封不动,只把查询后端换成OpenAI的GPT-5.6 Luna和另一个叫HY3的模型,结果性能只有轻微下降,依然明显超过Qwen3-14B,而且成本更低。这说明这套学到的"什么时候查、查多深"的判断力,不是死记硬背某个特定后端的行为习惯,而是一种相对通用的能力。
**写在后面**
读完这篇论文,让我印象最深的不是最终的性能数字,而是那个看似简单却几乎没人认真验证过的判断:模型嘴上说"我不确定"和它真的能靠反思解决问题,这两件事之间的鸿沟远比想象中大。这个发现本身有点让人不安,因为我们习惯性地相信,只要给AI足够的思考时间,它总能靠自己想明白。但这篇论文用扎实的对照实验证明,思考时长和思考方向是两件事,方向错了,给再多时间也只是在错误的地方反复徘徊。
还有一个细节值得单独说一说。研究者为了验证8次采样全错这个标准是否可靠,专门把采样次数加到64次,发现确实有一部分"全错"状态会翻出正确答案。这个补充实验做得挺诚实,他们没有回避这个不确定性,而是正面承认了这个划分标准的边界,并且证明即便放宽标准,结论依然站得住。这种愿意主动质疑自己方法论的态度,在很多论文里是缺失的。
这套"先自己想,卡住了再精准求助"的思路,让我联想到人类专业分工体系的某种缩影。一个高效的团队里,每个人都清楚自己能力的边界在哪里,不会事事都问领导,也不会硬撑着不该自己扛的事。这种边界感恰恰是最难教会的东西,人类花了很长时间去建立职场里的求助礼仪和分工意识,而这篇论文想做的,是把类似的判断力教给一个几十亿参数的模型。它能不能真正学会这种边界感,还是只是在这几个特定基准测试里表现出了统计意义上的相似行为，这或许是下一个值得追问的问题。
Q&A
Q1：FlyBy是什么？
A：FlyBy是KAIST研究团队提出的一套训练框架,让小型推理模型学会区分自己的失败是因为思考不到位还是缺乏相关知识,并在真正缺知识的时候主动向更强的模型发起精准查询,而不是盲目地多想。
Q2：执行瓶颈和知识瓶颈有什么区别？
A：执行瓶颈是正确答案理论上能靠自己推出来,只是模型没执行到位,多反思、多验证是有用的；知识瓶颈是模型压根不掌握所需知识,靠内部反复琢磨推不出正确答案,只有引入外部信息才能突破。
Q3：FlyBy-4B的效果怎么样？
A：在1158道六个基准测试中筛出的难题上,FlyBy-4B的pass@8达到45.96%,超过了参数更大的Qwen3-14B的41.64%,推理成本却只要它的37%左右,同时单次回答准确率也超过了Qwen3-8B。
