先问你一个问题。
如果给你一张照片，里面有个女生抱着一只金毛犬，让你回答"这种狗的原产国是哪里"，你会怎么做？你大概率会先认出这是金毛寻回犬，然后去查一下它的起源地，最后告诉我答案是苏格兰。这个过程听起来挺简单的，对吧？
但现在换个问法。给你三张不同的图片，让你回答"这三辆车里，有几款是大众集团旗下公司生产的"。你得先认出每辆车的品牌，再搞清楚这个品牌是不是被大众收购了，最后数出符合条件的车有几辆。这已经不是"看图说话"了，这是侦探工作。
再换一个场景。给你一段视频，让你比较视频里出现的两座地标建筑哪个更高，还要精确到英尺。你得先在视频里找到这两座建筑出现的那几帧画面，分别截图认出它们是哪座楼，然后分头去查两座楼的高度，最后比个大小。
这篇论文要解决的，就是怎么让一个AI模型同时具备处理这三种难度的能力：单张图片、多张图片组成的图集、还有视频。而且不是分别训练三个模型各管一摊，是用同一套"脑子"把这三件事都做好。
这个课题听起来简单，做起来却藏着一个大坑。
一个被忽视的大坑：证据链在哪里断掉了
你可能觉得，这不就是让AI学会"看图"加"查资料"吗？市面上不是已经有很多这类工具了吗？
确实有。过去两年里，研究者们已经做出了不少能一边看图一边上网搜索的AI代理（agent，也就是能自主执行多步骤任务的AI系统，不是被动回答一次问题，而是像人一样反复"想一想、查一查、再想一想"）。但这些工具大多只盯着一种输入类型使劲，要么只处理单张图片，要么专攻视频，很少有人把图集这个中间地带也纳进来，更没人想过能不能三种类型用一套系统统一搞定。
真正的难点不在于"要不要统一训练"，而在于统一训练所需要的数据从哪里来，以及训练出来的模型要怎么评价对错。
设想一下，你要给AI出一道题："图中骑士的头盔上有个什么徽章，这个徽章代表的家族发源于哪个城堡？"这道题看起来很普通，但要让AI真正学会解这道题，你得先确保：第一，徽章这个视觉细节必须真实存在于图片里，能被精确定位到；第二，徽章对应的家族信息必须有网页能查到，而且这个网页得是真实可信的来源，不是AI编造的；第三，从"认出徽章"到"查到家族"再到"锁定城堡"，这中间每一步的逻辑链条必须完整，不能中间断掉或者偷换概念。
过去的研究方法，往往只记录了这条链条的某一段。有的方法用"感知到知识"的链条记录视觉识别和外部知识的对应关系，但不记录证据来自哪个具体网页段落。有的方法用"事实清单"来打分，告诉模型这道题需要用到哪些事实，但不记录这些事实是从图片上哪个具体位置找到的线索。视频相关的研究更倾向于把关键帧和实体抽取出来，仅仅当作检索的"引子"，用完就扔，没有把整个推理过程的来龙去脉存档。
这就好比你让一个侦探破案，却只给他一份残缺的卷宗，有的地方只有指纹没有嫌疑人信息，有的地方只有嫌疑人口供没有物证照片。侦探最后或许也能破案，但你没法知道他是真的推理出来的，还是蒙对的。更麻烦的是，如果不同页案卷的记录格式都不一样，你没法批量培训一整支侦探队伍，因为没有统一的标准可以参照。
这就是研究者们面临的真正问题：没有一个统一的"案卷模板"，能够同时记录"证据在图片哪个位置"、"证据对应什么外部事实"、"这些事实怎么组合成最终答案"这三件事，并且这个模板得同时适用于单图、多图、视频三种场景。
VGEG：给每道题配一份完整的侦探卷宗
论文提出的核心解法叫VGEG，全称是"视觉锚定证据图"（Visually Grounded Evidence Graph，一种统一的任务参考结构，用图的形式把视觉线索、外部事实和推理步骤全部串联起来）。
这个结构说白了，就是给每一道研究题目都配一份标准化的"案卷"，这份案卷包含四个部分：视觉锚点（图片或视频里被定位出来的具体物体、区域或帧，附带它们对应的真实世界实体）、来源可查的事实（每条事实都标注了是从哪个网页、哪句话里提取出来的）、操作说明（规定了这些事实要通过什么运算组合成最终答案，比如求和、比较大小、做减法）、以及依赖关系（把前面三者用边连接起来，形成一张完整的图）。
用数学语言写出来就是，对每道候选任务 i，它的VGEG表示为 Γ? = (A?, F?, O?, R?)，这四个字母分别对应锚点集合、事实集合、操作集合和关系集合。这套结构是从一个更大的"输入级证据图"里投影出来的，相当于从一个海量的案卷档案库里，专门为某一道具体题目抽取出相关的那部分卷宗。
如果没有这套VGEG会怎样？
那就相当于你让AI做完一道推理题，只看它最后给的答案对不对，完全不检查它是怎么推理出来的。这种打分方式有个致命问题：AI很可能瞎蒙对了答案，或者编造了一些根本不存在的"证据"来硬凑出正确答案，表面上看起来分数很高，但这种能力完全不可信，换一道类似的题目立刻露馅。
有了VGEG，你就可以反过来检查AI的每一步：它找的图片区域对不对？它查到的事实是不是真的来自它引用的那个网页？它的推理步骤是不是真的按照题目要求的逻辑在走，而不是中间跳步、凭空捏造？
这就好比老师批改一道数学应用题，不是只看最后的得数，而是要求学生把解题步骤完整写出来，每一步都要有依据，这样才能确认学生是真的理解了题目，而不是背了答案。
从70万小时的视频里，淘出可以出题的素材
有了VGEG这个标准模板，接下来的问题是，题目从哪里来？
论文搭建了一整套数据引擎，起点是250万条YouTube视频记录，终点是构造出十几万条高质量的训练数据。这个筛选过程相当狠，层层过滤下来，最后只留下了7万多条视频。
筛选过程大致是这样的：先按上传日期过滤掉2023年之前的旧视频，剩下129万条。再用规则打分筛掉内容单薄、没什么可查实体的视频，留下37.8万条。接着按12个内容类别做均衡采样，同时排除了音乐、教育等视觉信息相对单薄的类别，留下12.8万条。然后用GPT-4.1对视频文本信息做二次判断，确认视频里真的有多个场景、可识别实体和具体事件，留下7.2万条。最后按视频时长做均衡，避免某个时长区间的视频占比过高，定格在7.08万条。
这就像你要从一个巨大的旧货市场里，淘出真正有收藏价值的古董。大部分东西一眼就能排除，但越往后筛，越需要专业眼光，最后留下的都是真正经得起推敲的好东西。
筛出视频之后，还要进一步在视频内部挖掘可以利用的视觉线索。这一步叫密集视觉锚点发现，大致流程是：先把视频按2帧每秒采样，分成十帧一组的小片段，给每个片段生成描述；再从每个片段里挑出关键帧，生成更细致的描述；然后用图文嵌入模型做跨片段的帧去重，避免同一个画面被反复利用；接着把时间上相邻、语义相关的片段聚合成一个个"事件"；最后在每个事件的代表性关键帧里，定位出可以查证的具体物体，比如一个车标、一件商品、一处地标。
这一整套流程最后形成了一棵"视频密集描述树"，结构是从视频到事件，再到关键帧，再到具体物体，层层嵌套，每一层都保留着时间和空间上的精确坐标。
有了这些视觉锚点，下一步就是把它们和外部世界的真实知识连接起来。这一步叫网络证据图构建，核心做法是让系统自动判断每个物体该用"以图搜图"还是"文字识别后再搜索"的方式去查证身份。比如视频里出现了一辆跑车的车标，系统会用反向图像搜索去匹配候选品牌；如果是一块写着文字的招牌，系统会先用OCR识别文字，再去搜索这段文字对应的实体。
搜索结果不是直接采信的，还要经过验证。系统会把候选身份和网页摘要放在一起，用另一个模型重新核对这个身份跟视觉上下文是否吻合，防止搜到了同名同姓但不相关的东西。验证通过之后，还会继续往外扩展，比如认出了一辆奥迪R8，系统会继续追问"这辆车的设计者是谁"、"这个人还创立过什么企业"，像剥洋葱一样一层层往外挖，每一跳都记录下支持这条信息的具体网页和原文引用。
这个扩展过程不是无限制地一直挖下去的，系统会根据实体的具体程度、关系的可信度、任务的相关性来判断要不要继续往下查，没有合适的后续线索了就自动停止。这就像查户口，如果查到的是一个具体的人，你还可以继续查他的工作单位、家庭成员；但如果查到的只是一个模糊的概念，比如"某种汽车品牌"，再往下查可能就没什么实际意义了，这时候就该收手。
最终形成的"网络实体图"把事件、关键帧、定位物体、实体、属性、来源网页全部整合在一张图里，这张图就是VGEG的原材料库，每道具体题目的VGEG都是从这个大图里投影截取出来的一部分。
从证据图里出题，还得保证"不作弊"
有了证据图，接下来就是真正出题环节，这一步要同时做好三件事：出题要有足够的推理深度，答案要经得起反查，问题描述不能暴露答案。
出题阶段，系统会把事件描述、视觉锚点、来源可查的事实和候选的关系链条整合起来，让生成模型围绕六种研究操作类型出题，这六种操作后面会详细讲。生成模型会同时输出问题、答案和这道题对应的VGEG，这三者是绑定在一起生成的，不是先出题再凑证据。
出完题之后，有个验证环节专门防止"假题目"。系统会用确定性规则检查证据路径和任务结构是否自洽，比如多跳问题要检查相邻事实之间是不是真的能衔接上，多锚点比较题要检查用来比较的是不是同一个语义属性。光检查结构还不够，系统还会让另一个模型只凭借题目相关的证据，重新把答案算一遍，看算出来的答案和出题时给的答案是否一致。为了防止答案提前泄露在证据描述里，系统还会把事实摘要里明显出现答案原词的地方做掩码处理。
接下来是"视觉实体模糊重写"，这一步挺巧妙的。假设出题时已经知道图里那只狗是金毛犬，直接问"金毛犬的原产国是哪里"就太简单了，等于白送答案。系统会把问题里明确提到的实体名字，改写成基于视觉特征的描述，比如改成"图中被男孩抱着的那只狗"，这样AI就必须先自己看图认出来是什么狗，再去查资料，而不是从问题文字里直接抄答案。多跳问题还会把中间经过的实体名字也一并隐藏，确保AI是从看得见的目标出发，一步步推理出中间环节，而不是从问题文字里偷看到了捷径。
最后一道关卡是质量过滤，专门检查信息遮蔽是否彻底、指代是否唯一（不能一张图里有两只狗，问题却没说清楚指的是哪只）、视觉输入是否真的有必要、问题是否足够复杂不能靠猜。其中有一步很关键，叫纯文字探测，就是把图片拿掉，只留文字问题，看AI能不能凭记忆蒙对答案。如果蒙对了，说明这道题压根不需要看图，直接被淘汰。
这一整套流程最后产出了两份训练数据集：OneSearch-VL-SFT-110K用于监督微调（也就是先用大量优质示范案例教会模型基本套路），一共大约11万条轨迹，其中单图3.6万条、多图3.7万条、视频3.5万条，平均每条轨迹要调用10.1次工具。OneSearch-VL-RL-10K用于强化学习（也就是让模型自己尝试做题，根据做得好坏给奖励信号，逐步改进），一共约1万道题目，覆盖三种输入类型。
EVGR：不光看答案对不对，还要查"作案过程"
光有好数据还不够，训练过程中怎么给模型反馈，同样决定了最终效果。
论文提出了EVGR，全称是"证据感知的视觉锚定评分奖励"（Evidence-aware Visual-Grounded Rubric reward，一种从VGEG标注中衍生出来的强化学习奖励机制，专门用来检查模型推理过程中是否真的找对了证据、看对了画面）。
这个奖励机制分两个独立维度来打分。第一个维度叫证据可追溯性，专门检查模型调用工具得到的观察结果，是不是真的支撑了答案所需的核心实体和每一跳事实，推理过程有没有偷换概念或者凭空编造。第二个维度叫视觉定位，专门检查模型有没有真正找对图片里的物体、区域，或者视频里正确的那几帧画面，并且确实拿这些视觉信息去驱动了后续的检索。
对于单图和多图场景，因为原始图片本来就直接呈现在模型面前，不需要额外调用工具去"看"，所以视觉定位检查的是模型是不是用对了正确的那张图、那个物体。对于视频场景，检查的是模型挑出来的那几帧是不是真的覆盖了问题需要的关键时刻。
打分标准是分档的，满分1分代表所有需要的证据环节都直接有支撑，0.75分代表大部分支撑但有一个小缺口，0.5分代表存在有用证据但有一个关键环节证据间接或缺失，0.25分代表证据大多嘈杂、靠猜测或者和已知信息矛盾，0分代表完全没有建立起有效证据支撑。
如果不设置这两个独立维度，只按最终答案对不对打分会怎样？
论文的消融实验给出了答案。只用答案正确性奖励时，六个基准测试的平均分是56.3分；加上查询质量奖励之后提升到57.3分；再单独加入证据可追溯性，分数跳到59.0；单独加入视觉定位，分数到59.3；而把两者都加上之后，分数一下子冲到61.1，比只用答案和查询奖励整整高出3.8个百分点。
这组数字说明了一件事，只靠最终答案打分，模型很容易学会"猜对答案但过程不对"的投机取巧行为，就像考试只看最后得数不看步骤，学生就会想办法蒙混过关。而EVGR相当于给了一份详细的评分细则，逼着模型必须老老实实走完整个推理流程，这样学出来的能力才真正扎实、可以迁移到新题目上。
这套机制最终会和答案正确性奖励、查询质量奖励一起，组合成一个总的复合奖励，再用GRPO（一种强化学习优化算法，通过比较同一批次里不同答题轨迹的相对好坏来更新模型，不需要额外训练一个单独的价值评估网络）来训练模型。
六种研究操作：把"怎么查资料"这件事拆解清楚
前面提到出题要覆盖六种研究操作，这里具体说说这六种是什么，因为这直接决定了论文新建的两个评测基准到底在考察什么。
第一种是单锚点查找，最简单，就是针对一个视觉目标查一个外部属性，比如认出一只狗的品种，查它的原产国。
第二种是多跳检索，从一个视觉锚点出发，顺着一条关系链条一路查下去，比如认出一个标志的设计者，再查这个设计者的母校，再查母校所在的城市。
第三种是知识条件计数，需要对每个视觉目标分别验证一个外部条件是否满足，最后统计满足条件的数量，比如判断图中几位摔跤手分别拿过几次冠军赛事的冠军，最后数出总共有几位至少拿过一次。
第四种是多锚点联结，把多个视觉锚点各自查到的事实组合起来，比如认出两个动漫角色，分别查出他们的生父是谁，联结成一个完整答案。
第五种是多锚点算术，对多个视觉目标查到的数值信息做计算，比如认出一只宝可梦的初始形态和最终形态，分别查身高，做减法算出差值。
第六种是多锚点比较，对多个视觉目标查到的同一类属性做大小比较，比如查出视频里两座瞭望塔的高度，比较哪座更高。
基于这六种操作，论文构建了两个新的评测基准，OneSearch-MI-Bench（针对多图场景，301道题）和OneSearch-Video-Bench（针对视频场景，307道题）。这两个基准最大的特点是，题目不是按"视频内容是什么类型"来分类的，而是按"这道题需要哪种研究操作"来分类的。统计下来，除了最简单的单锚点查找之外，剩下五种复合操作占了全部题目的91.3%，多图题目平均每道题要用到3.05张图片。
这个设计思路其实挺有意思。过去的视频深度研究基准大多是按"这是一个体育视频"还是"这是一个新闻视频"来分类统计准确率的，这种分法只能告诉你模型在哪类内容上表现好，却不能告诉你模型到底是在"查找"这个环节出了问题，还是在"比较"或者"计算"这个环节出了问题。而按操作类型分类，相当于给AI的能力做了一次CT扫描，能精确定位到底是哪个环节的推理能力偏弱。
数据说话：统一训练到底值不值
讲了这么多设计思路，最后还是要看实际效果。
论文用Qwen3-VL-8B作为基础模型，先做监督微调，再做强化学习，训练出OneSearch-VL-8B。在七个单图深度研究基准上，OneSearch-VL-8B平均得分58.3，比同规模的Qwen3-VL-8B代理版本高出16.3个百分点，比此前的开源最优方法OpenSearch-VL-8B高1.7个百分点，而且在七个基准里有六个都拿到了所列方法中的最高分。
在多图和视频基准上，提升幅度更明显。OneSearch-VL-8B在OneSearch-MI-Bench上比Qwen3-VL-8B高20.2个百分点，在OneSearch-Video-Bench上高17.6个百分点，在另一个已有的视频深度研究基准VideoDR上高27.0个百分点。六种操作类型全部实现了提升，其中多图场景里的知识条件计数、多锚点算术、多锚点比较分别提升29.8、26.3、22.5个百分点，视频场景里的多跳检索、多锚点算术、多锚点联结分别提升25.5、20.0、19.2个百分点。这组数据说明，提升主要集中在那些需要跨多个视觉锚点做综合推理的复杂操作上，而不只是简单的单点查找。
最值得玩味的是数据混合的消融实验。论文分别用纯单图数据、纯多图数据、纯视频数据训练了三个模型，发现单独用视频数据训练出来的模型，平均分达到55.1，是三者中最高的，而且这个模型在三个单图基准上也都有提升。这说明一件事，不同视觉输入类型之间的研究轨迹是能够相互迁移借鉴的，不是各练各的互不相干。而把三种数据混合在一起联合训练，平均分进一步提升到55.8，在单图基准SimpleVQA、多图基准、视频基准上都拿到了这组对比实验里的最高分。
这就像教一个孩子同时学画画、学写作、学音乐。你可能担心精力分散会导致哪个都学不精，但实际情况往往是，画画训练出来的观察力会帮助写作描写更细腻，音乐训练出来的节奏感会让写作的句子更有韵律。不同能力之间存在隐藏的共通之处，只盯着一件事反而可能错过这种迁移红利。
如果只训练单一类型会怎样？论文的数据给出了明确答案：单独用单图数据训练，平均分只有51.7，比联合训练低了整整4.1个百分点。换句话说，拒绝接触多元化的训练数据，模型的能力天花板会明显更低。
三篇正文里展示的推理案例，特别值得一看。第一个案例里，模型要比较一辆蓝色跑车和一个深灰色刹车卡钳背后制造商的成立年份差。它先裁剪出跑车尾部，反向图像搜索认出是福特野马，再裁剪出刹车卡钳上的标志，认出是布雷博，然后分别查两家公司的成立年份，福特1903年，布雷博1961年，最后做减法得出58年的答案。整个过程里，两个视觉锚点被完全独立地处理，各自查证，最后才汇合成一个数字，这正是VGEG里"多锚点算术"这种结构在实际推理中的具体体现。
第二个案例更复杂一些，模型要判断三张图片里的车，有几款是大众集团旗下公司生产的。它先裁剪出一个车标，认出是宾利，查到宾利确实被大众收购了，然后分别裁剪三张图里的车身细节，反向搜索确认了三款车都是宾利欧陆系列的不同变体，最后给出答案是3款。这里面藏着一个有意思的细节，模型中途还专门去查证了"这三款车算不算彼此独立的不同型号"，因为如果算作同一款车的三个版本，答案可能就不是3了。这说明模型的推理里不只是简单的查找和拼接，还包含了对"计数边界"这种微妙问题的判断。
视频场景里的案例也很能说明问题。有一个案例要求模型在视频里找到两款玩具弹射枪，分别查出它们的发售年份，比较哪款更新。模型选中了第9帧和第116帧，分别裁剪、反向搜索，认出一款是Commander RD-6，另一款是Recon CS-6，查到的年份分别是2020年和2008年，最终正确给出2020年更晚。有趣的是，查证过程里系统返回的资料其实存在矛盾，关于Commander RD-6的发售年份，三份搜索结果里有一份写的是2015年，另外两份写的是2020年，模型最终采用了多数一致的2020年。这个细节暴露了一个现实问题，互联网上的信息本来就存在矛盾和噪声，一个真正可靠的研究代理，不能指望搜到的每条信息都绝对准确，而是要有能力在多个来源之间做交叉验证和取舍。
写在后面
读到EVGR那部分消融实验的数字时，我愣了一下。只靠答案正确性和查询质量两个奖励，六个基准平均分是57.3，加上证据追溯和视觉定位之后变成61.1。这3.8个百分点的差距不是小数目，它说明"答案蒙对了"和"推理过程真的扎实"之间，存在一道看不见的鸿沟，而这道鸿沟如果不专门设计机制去检测，几乎永远不会被训练过程主动发现。
更让我在意的是那个高度比较的案例，模型最后查到约翰·汉考克中心有三组互相矛盾的高度数据，1128英尺、1499英尺、1127英尺，分别来自不同的检索结果，而且这些数字里还混淆了"建筑本体高度"和"加上天线的高度"这两个不同概念。模型最终选对了官方标准答案1128英尺，但它给出的解释文字里却把1506英尺错误地标注成了"含天线高度"，这个数字其实和它自己之前查到的任何一个数字都对不上。这说明即便答案对了，推理链条内部也可能存在没被发现的小毛病，这恰恰是EVGR这类过程监督机制存在的意义，它逼着研究者正视这些"答案对但过程有瑕疵"的灰色地带，而不是被最终得分蒙蔽。
论文里还提到一个我没想到的局限，这套系统依赖外部搜索工具和实时网页内容，而网页是会变化甚至消失的，这意味着同一道题目，今天跑出来的证据链和一年后跑出来的可能完全不同。这让我想到，所谓"深度研究"能力的可靠性，某种程度上是建立在一个流动的、不稳定的信息海洋之上的，这和纯粹依靠模型内部参数记忆的问答方式，在可复现性上面临着截然不同的挑战。
一个AI要同时学会看单张照片、翻多图相册、刷视频片段，还要在这个过程中不停地上网查证、交叉比对，这件事做好了，离真正能替人做调研工作的助手，还有多远？
Q&A
Q1：OneSearch-VL是什么？
A：OneSearch-VL是一个统一的多模态深度研究AI代理，能够同时处理单张图片、多图集合和视频三种视觉输入类型，通过视觉定位、网页检索和事实组合来回答复杂问题，核心基于VGEG证据图结构构建训练数据和评估体系。
Q2：VGEG和EVGR分别解决了什么问题？
A：VGEG是一种统一的证据图结构，把视觉锚点、来源可查的事实和答案推理步骤完整关联起来，用于构造训练数据和验证题目质量；EVGR是基于VGEG衍生的强化学习奖励机制，从证据可追溯性和视觉定位两个维度检查模型推理过程是否扎实，而不只看最终答案对错。
Q3：OneSearch-VL的实际效果如何？
A：在七个单图基准上平均得分58.3，超过同规模Qwen3-VL-8B代理版本16.3个百分点；在新建的多图和视频基准上分别领先20.2和17.6个百分点，在VideoDR基准上领先27.0个百分点，复合知识操作类问题提升尤其明显。
