你有没有玩过那种需要连环推理的侦探游戏?不是"谁是凶手"这么简单的一道题,而是你得先找到一张老照片,认出照片里的建筑,查这栋建筑的历史,顺藤摸瓜找到一场国际会议,再从会议参与者里锁定一个人,追踪他的继任者,最后在继任者纪念馆的某张照片里,数清楚几根柱子。
这是一个真实的例子。论文里展示的一道训练题,起点是一张"山间大酒店"的图片,终点是让AI去数一张体育场黄昏照片里"大屏幕下方有几根白色圆柱"。中间要经过五个阶段的查证,用到文本搜索、以图搜图、裁剪图片、Python计算等七八种工具。
这就是这篇论文要解决的事情:教会AI做这种长线调查。而要教会它,比想象中难得多。
**当AI的"深度搜索"遇到简单题**
现在的多模态AI助手,已经能一边看图一边上网查资料了。你给它一张图,问一个问题,它能去搜索引擎查,去网页里找线索,甚至反过来用图片去搜图片。这类系统最近被叫做"多模态深度搜索智能体"。
多模态深度搜索智能体*:一种能看懂图片、同时具备联网检索能力的AI系统,通过反复搜索和推理来回答复杂问题,而不是单纯依赖自己记住的知识。
但训练这类系统,卡在了一个很现实的问题上:现成的训练题太简单了。
论文里给出了具体对比。研究者测试了Qwen3.5-9B这个模型,在不用任何工具、纯靠自己脑子里记的知识答题时,LiveVQA数据集上的准确率是52.0%。注意,这还是"不让它查资料"的成绩。这说明很多所谓的"多模态问答题",根本不需要查,模型直接答就能对一半以上。你拿这种题去训练一个需要长期搜索能力的AI,它学不到什么东西,因为题目本身压根不逼着它去搜。
这就好比你想训练一个马拉松运动员,结果给他准备的训练场是百米跑道。他跑完了,心率没怎么上去,肌肉也没怎么锻炼到,因为场地根本不够长。如果你不换更长的赛道,不管练多少次,运动员的耐力永远上不去,你能看到的只是他把百米跑得越来越快,但这解决不了马拉松要面对的问题。
另一个问题是,就算你想自己出难题,成本极高。论文里提了,要构造一道需要"图谱式组合"的难题,意味着你得去采集关系数据、找配图、验证每一条证据链,这往往需要人工核查,费时又费钱。
**反馈信号太弱,AI学不会"过程"**
除了题目太简单,还有第二个麻烦:就算AI真的开始做长线搜索了,训练时给它的反馈也太粗糙。
现在主流的强化学习训练方式,叫GRPO。
GRPO*:一种强化学习算法,让AI针对同一个问题生成多条不同的尝试路径,然后比较这些路径最终答对还是答错,用相对好坏来调整AI的行为。
问题是,GRPO通常只看"最后答案对不对"这一个终点分数。但一次长线搜索可能有几十个工具调用、上百个步骤。AI可能在中途反复验证同一个信息(浪费时间但最后答对了),也可能过早放弃搜索直接瞎猜,还可能全程操作都很合理但最后一步判断错了。这些中间过程的好坏,终点分数完全看不出来。
更麻烦的是,如果AI针对同一道题生成的好几条尝试路径最后得分一样(比如都错了,都是0分),那GRPO用来做比较的"相对优势"信号就直接归零了,等于这一组训练数据白费了。
这就像你带一群学生做一道大题,阅卷只给最终答案打分,不管过程。有个学生步骤全错但蒙对了答案,满分;另一个学生步骤几乎全对,只是最后一步算错了,零分。两人的分数完全体现不出谁的解题思路更靠谱。你没法通过这种打分方式,告诉学生"你的思路是对的,继续往这个方向走"。
**Refine:把简单题改造成难题**
面对第一个问题,研究者的思路不是从零构造新题,而是在现有的简单题目上动手术,让它变难。这套方法叫Refine。
Refine*:论文提出的数据改造流程,通过三种可控操作把简单的图文问答题,转化为需要长线搜索的复杂问题,同时重复利用原有的图片和问答素材。
具体怎么做的?先用一个叫BuildLink的步骤,把原题目的推理过程拆解成一条清晰的"实体链":从图片里的实体出发,一步步链接到最终答案。比如前面那个酒店的例子,链条起点是"图片里的酒店",终点是"答案:某个历史事件相关的人"。
拆出这条链之后,Refine对它做三种加工。
第一种叫Expand,往链条末尾继续接新的环节,让搜索路径变长。原来的答案变成中间过程的一环,模型必须继续往下查,才能找到真正的新答案。
第二种叫Blur,在链条中间选几个节点,不直接说出实体名字,而是换成几条间接线索描述它。这逼着模型必须先靠搜索把模糊的线索对应到具体实体上,增加了排除干扰、锁定目标的难度。
第三种叫Visualize,往链条的某些节点上挂真实的图片证据,模型得先找到并看懂这张图,才能往下推进。这一步把"看图"这件事也变成了搜索链条里不可跳过的环节。
这三步做完,再把整条加工过的链条重新组织成一道新问题的文字描述。论文里那道"数柱子"的题就是这么来的,原来只是问"这个酒店叫什么名字",加工后变成了五段式的长链推理题。
这里有个细节值得说一下:为什么是"先Expand,再Blur,最后Visualize"这个顺序,而不是随便加工?因为每一步操作的对象是前一步处理完的链条,顺序乱了,链条可能就断了或者变得逻辑不通。这就跟盖房子得先打地基再砌墙一样,顺序错了,房子是立不住的。
加工完之后,还有一道质量关。研究者会沿着改造后的链条重新走一遍,核查答案是不是唯一的,加进去的每一个证据环节是不是真的必须用到。如果去掉某个线索答案依然能推出来,说明这个线索是多余的,没有真正增加难度,这类题目会被筛掉。另外还会用一个不带工具的模型先试答一遍,如果它单靠记忆就能蒙对,说明这题还不够难,也要剔除。
效果怎么样?论文给了实打实的数据对比。同样用Qwen3.5-9B模型,在改造前的问题集上训练完,平均每条搜索轨迹只用6.6次工具调用;改造后的问题集训练完,平均要用到33.7次工具调用,涨了五倍。而且图片搜索和图片抓取这两类"动图片"的工具调用次数,涨幅分别达到了12.7倍和6.7倍。这说明改造后的题目确实把模型逼向了更长、更依赖视觉证据的搜索路径,不是做个样子。
论文还单独测了Expand、Blur、Visualize这三步分别带来多大的难度提升。在同一批100道原始题上,逐步加工后让同一个顶尖模型(Seed2.1-Pro)去做,准确率从79%一路降到65%、44%、33%。平均搜索轮数也从9.8轮涨到20.2轮。三步操作各自都在发力,不是某一步在单打独斗。
**OPD:在失败的路上,给个及时的提醒**
解决了题目难度的问题,接下来要解决反馈太粗糙的问题。研究者提出的方案,是把强化学习(RL)和一种叫"在策略蒸馏"的技术结合起来用。
在策略蒸馏(On-Policy Distillation,简称OPD)*:一种训练方式,让一个更强的"教师模型"去看学生模型自己走出来的搜索轨迹,对轨迹里每一个词给出评分,告诉学生这一步走得好不好,而不是只在终点给一个总分。
这里的关键设计是"只在学生没做对的时候才给教师指导"。论文里管这个叫门控机制:如果学生这条轨迹的正确率已经是满分了,就不再用教师的意见去干扰它,让纯粹的RL信号继续起作用,鼓励它把搜索做得更高效。只有当学生这条轨迹没做好时,教师才介入,一字一句地告诉它哪里可以改进。
这个设计背后的考量很实际。设想一个学生某次考试蒙对了答案,但过程全是瞎猜,如果这时候还让老师手把手教他"应该这样写",其实是在强化一种错误的侥幸心理,而不是真正提升他的能力。只有当学生真的没考好时,老师的逐字批改才有意义。
同时,教师给出的指导强度也不是一刀切的,而是跟学生这次考得离满分差多远挂钩。差得越远,指导就越强;差一点点,指导就轻一些。这个思路很符合直觉:一个孩子这次考了59分,差1分及格,跟一个孩子考了20分,老师给的辅导力度肯定不一样。
还有一个精巧的细节是时间上的安排:教师指导的权重会随着训练进行按指数衰减,每十步训练衰减到原来的百分之一。这意味着训练刚开始的时候,教师的声音比较响亮,帮学生快速找到方向;但随着训练深入,这个声音逐渐变小,给学生自己摸索、甚至超越教师原有习惯留出空间。
论文对这个设计的解释很直白:训练初期,学生的搜索大概率是失败的,RL靠"组内互相比较"得出的信号往往很弱甚至归零,这时候教师的逐字指导是雪中送炭;但训练到后期,如果还死死跟着教师的套路走,学生可能永远达不到比教师更好的水平。这就像学骑自行车,一开始家长扶着车后座是必要的,但如果一直扶着不撒手,孩子永远学不会自己保持平衡。
**先教后放手:监督学习打底,强化学习接棒**
整个训练流程并不是一上来就扔给AI强化学习,而是分了两步走。
第一步,研究者先用一个更大的模型(Seed2.1-Pro)去生成高质量的搜索轨迹样本,再用这些样本对一个中等大小的模型(Qwen3.5-27B)做监督微调,把它训练成一个"教师模型"并冻结住,不再更新。
监督微调(SFT)*:直接拿标准答案和示范过程喂给模型学习,类似"抄作业式"的训练,让模型先学会基本的套路。
然后,真正要训练的"学生模型"(Qwen3.5-9B)先在一部分相对简单的题目上做监督微调打底,再转到更难的题目集上,接受前面说的RL加OPD联合训练。
这个"先打底再放手"的安排也是有讲究的。如果一上来就让学生模型在完全没基础的情况下直接进行强化学习式的自由探索,它可能连最基本的工具调用格式都搞不明白,训练效率会很低。这就跟教小孩游泳一样,直接扔进深水区是会呛水的,得先在浅水区学会基本动作,再慢慢往深处走。
**成绩单:9B的模型打出了27B的水平**
说了这么多设计,效果到底怎样?论文在七个主流多模态搜索评测基准上做了测试,包括MMSearch、LiveVQA、BrowseComp-VL等。
最终训练出来的MMSearch-OPD-9B模型,七个基准平均准确率达到60.2%,比同等规模(Qwen3.5-9B)仅做常规"工具调用式"训练的56.7分高出了3.5分,比纯粹靠自己脑子答题(不用任何工具)的17.2分高出了整整43分。
更值得说的是跟其他同量级模型的对比。论文列出的一批7B到9B规模的开源搜索智能体里,MMSearch-OPD-9B在全部七个基准上都拿到了最高分,平均比表现第二好的DeepVoyager-VL-8B高出9.6个百分点。
还有一个挺有意思的数字:这个9B大小的学生模型,最终表现甚至超过了没经过专门训练、只是直接用工具的27B规模Qwen3.5模型(56.7分),高出3.5分。换句话说,经过精心设计的训练之后,一个小模型靠更好的训练方法,追平甚至反超了参数量大三倍的对手。
分阶段看训练效果也很清晰。仅做监督微调(SFT)这一步,平均分就从44.9涨到了57.9,涨了13个点;再叠加上RL加OPD的联合训练,进一步涨到60.2,又多涨了2.3个点。这说明两个环节都在真正起作用,不是哪一个环节单独撑起了全部成绩。
针对需要长线搜索能力的几个高难度基准(MM-BrowseComp、MMSearch-Plus、BrowseComp-V3、VisBrowse-Bench),提升更明显,平均涨了17.2个百分点。这几个基准恰恰是最考验"连续查证、跨模态整合证据"能力的场景,说明训练确实命中了研究者最初想解决的那个痛点。
**训练过程中,AI学会了"少走弯路"**
论文还展示了一个很能说明问题的训练曲线。在RL训练的19步里,模型的答题质量在稳步上升,平均奖励从0.347涨到0.587。
但更有意思的是搜索行为本身的变化。训练前半段(6到13步),模型平均每题要用26次工具调用,生成2.9万个词;训练后半段(14到19步),工具调用降到21.3次,生成文本也缩短到2.34万个词,降幅都接近两成。但同期的答题质量并没有下滑,前后两段的平均奖励分别是0.525和0.544,基本持平。
这说明模型不只是在"变强",还在"变省"。它学会了用更少的步骤、更短的篇幅去拿到差不多甚至更好的结果,不再做无意义的重复验证。这跟一个刚上手调查工作的新人和一个干了几年的老手的区别很像:新人查一个线索要翻来覆去确认好几遍,老手一眼就能判断这条线索靠不靠谱,直奔关键证据。
**这个方法也有没解决的地方**
论文自己也坦承了局限。Refine虽然能增加证据链的复杂度,但没法完全排除模型靠记忆抄近道蒙对答案的可能性,或者走一条论文设计者没预料到的、更短的替代搜索路径拿到答案。另外,整套训练依赖教师模型和负责打分的裁判模型的质量,如果这两者本身有偏差,训练信号就会跟着跑偏。再加上开放网络的内容会变化,工具可用性也会波动,这意味着同样的实验未必能百分百复现。
Q&A
Q1:MMSearch-OPD是什么?
A:MMSearch-OPD是一套训练多模态搜索AI的方法,结合了名为Refine的数据改造流程和RL加OPD的联合训练策略,目的是让AI学会长线、跨模态的深度搜索能力,而不只是简单问答。
Q2:Refine具体是怎么把简单题变难的?
A:Refine通过Expand(延长推理链条)、Blur(把实体名字换成间接线索增加辨识难度)、Visualize(挂上需要查证的图片证据)三种操作,对现成的简单图文问题进行改造,让AI必须经过多步搜索才能得到答案。
Q3:MMSearch-OPD训练出来的9B模型效果怎么样?
A:在七个多模态搜索基准测试上平均准确率达到60.2%,超过了同规模的常规训练模型,甚至高于未经专门训练的27B规模模型,在长线搜索类基准上提升尤其明显,平均高出17.2个百分点。







