你有没有想过一个问题：如果你要教一个人数照片里有几只猫，最有效的方法是什么？
是直接告诉他答案"有五只猫"，还是指着照片说"看，这里一只，那里一只，角落里还有一只"？
多模态大模型
MLLM：Multimodal Large Language Model，能同时理解图像和文字的大语言模型，比如能看图回答问题的AI
研究者们最近发现，答案显然是后者。但更有意思的问题是：如果你只教会AI数清楚照片里的猫，它会不会顺便学会看懂图表、读懂文档、甚至在复杂的真实世界照片里找东西？
这篇来自Valeo.ai和索邦大学团队的论文，给出的答案是：会的，而且效果出乎意料地好。
一个尴尬的现状：教AI"放大看",结果却顾此失彼
先说说这个领域现在卡在哪里。
过去一年里，有一类叫做"在线自蒸馏"的技术在语言模型圈子里火了起来。
在线自蒸馏
OPSD：On-Policy Self-Distillation，用模型自己的一个"更聪明版本"（比如看到了额外信息的版本）来教它自己，而不需要外部的更强模型当老师
这个思路很巧妙：找一个"学生模型"和一个"老师模型"，两者其实是同一个模型，但老师额外偷看了一些学生看不到的"小抄"。学生生成答案的过程中，老师在旁边实时纠正它每一步的表现。等训练结束，学生自己就能达到接近老师的水平,而且不再需要那张小抄。
把这个思路搬到看图说话的AI身上该怎么做？目前主流的做法是：给老师一张放大的、裁剪过的图片局部，让它能看清细节,而学生只能看完整的原图。这就像让一个近视的学生做阅读理解,老师悄悄给自己配了一副老花镜放大关键段落,然后告诉学生"这段话的重点是什么"。
问题来了。论文里做了个很扎实的对比实验：用这种"放大镜小抄"训练出来的Vision-OPD模型,在需要精细查找的V*基准上确实涨了8.9个点,在ZoomBench上更是涨了14.56个点,看起来效果惊艳。
但是,当研究者把这个模型拿去测试数数能力（CountQA基准）时,成绩居然从32分掉到了21.27分,足足掉了10.73个百分点。
如果只盯着"放大镜"这一条路走到底,会发生什么?答案就是这个实验告诉我们的:模型学会了在特定场景下聚焦细节,却在另一些需要全局扫描、逐个计数的场景里变得更差了。这就好比一个学生被训练成了"只会用放大镜看一个点"的习惯,结果做需要通览全局的题目时反而丢分更多,因为他的注意力被钉死在局部,忘了怎么统筹全局。
这说明"给老师更好的眼睛"这条路,天花板可能没那么高,而且副作用还不小。
换一个思路:不给"更好的眼睛",给"路标"
研究者们这时候换了个角度想问题:如果不给老师更清楚的视觉,而是给老师一张"文字地图",告诉他"答案相关的东西在哪几个坐标点",会怎样?
这就是这篇论文的核心创新,叫做Where-OPD。
Where-OPD
论文提出的方法名称,核心思路是用空间定位的文字提示作为"特权信息"喂给老师模型,而不是给老师更好的图像
具体怎么操作?学生看到的输入还是"一张图+一个问题",老师看到的是"同一张图+同一个问题+一段额外的文字提示"。这段文字提示长这样:"正在扫描绿色十字:在(377, 400)附近找到一个,在(692, 619)附近找到一个,在(213, 805)附近找到一个。计数:共3个。"
老师拿着这张"坐标清单",知道该往哪儿看,看完之后生成一份"高质量范本",学生再去模仿老师这份范本背后展现出来的思考过程和注意力分布,但学生自己从始至终都没看到那份坐标清单。
这就像教一个新手开车认路。你不是坐在副驾驶上一路替他看路（那是老师偷看的放大镜小抄思路），而是提前告诉他"第二个红绿灯左转,加油站旁边有个隐蔽的学校出口要注意"。新手开着车自己摸索,但脑子里带着这些路标提示在走,走的次数多了,他自己也学会了在类似的岔路口留心观察,哪怕没有人提前告诉他哪里有学校出口。如果不给路标,只是把地图放大给他看一遍（放大镜小抄思路）,新手会更擅长看那张特定的地图,但换一条没走过的路照样迷路。
为什么这个设计重要?因为很多视觉任务的本质就是"找到散落在图里的多个相关证据,再把它们拼起来回答问题"。数数要找遍所有符合条件的物体,看图表要把图例、坐标轴、数据点对应起来,读文档要在不同区域扫描文字。给出"哪里有证据"这个指引,比给出"证据被放大后的样子"更贴近这类任务真正需要的能力。
怎么造出这种"坐标清单",还不花一分钱请人标注?
这是整篇论文里我觉得最朴素但也最聪明的一步。
研究者没有去找现成的标注数据集,也没有请一个更强的外部模型来帮忙标注"哪里有相关物体"。他们干脆自己画图。
程序化生成场景
论文中用代码自动生成的训练图像,图里是在纯色背景上随机摆放的彩色几何图形（圆形、方块、星星、十字等）,每个图形的颜色、形状、半径、位置坐标在生成时就已经全部记录在案
因为这些图是用代码画出来的,画的时候系统本来就知道每个图形在哪、是什么颜色、什么形状。既然画图程序自己清清楚楚知道答案,那"坐标清单"根本不需要额外标注,直接从生成程序的内部数据里导出来就行。
这就好比你自己动手搭了一个乐高模型,搭的时候你当然知道每一块积木放在哪个位置。如果换成是买一盒现成的乐高拼好的模型,你反而要重新一块一块去数、去确认位置。自己造数据的好处就是,"标注"这个步骤直接省略了,因为生成的那一刻信息已经天然俱全。如果不这样做,想获得这种精确到坐标级别的标注,要么雇人一张张图去框、去数（成本极高且容易出错）,要么依赖另一个更强的视觉模型去自动识别物体位置（但那样又回到了依赖外部教师模型的老路,而且识别本身可能出错,把错误传递下去）。
具体来说,这些训练图是1024×1024像素的画布,里面放着12到40个物体,物体有七种形状、十二种颜色可选,半径在14到64像素之间随机变化。问题就是类似"图里有几个绿色十字"这样的计数问题。整个训练集只用了3000张这样的合成图,规模不大,却训练出了实打实的效果。
训练过程中用到的技术细节也值得说一说。学生生成答案时,老师在学生实际走过的每一步上打分,衡量学生当前这一步的概率分布和老师看过小抄之后的概率分布之间差多少,这个差距用一种叫做
JS散度
Jensen-Shannon Divergence,一种衡量两个概率分布之间差异程度的数学方法,数值越小代表两个分布越接近
来衡量,训练目标就是让学生一步步缩小这个差距。整个过程中,老师的参数是冻结不动的,只有学生在被持续更新,这保证了老师始终保持"看过小抄"的那个状态,不会被训练过程污染。
效果怎么样?三个模型,十五个基准,数据说话
研究者在三个不同的多模态大模型上做了实验:Qwen3.5-4B、Qwen3.5-9B,还有Qwen3-VL-4B。测试覆盖了15个不同的基准测试,从数数、看文档、读图表,到更贴近真实世界场景的通用视觉理解任务,甚至包括专门测试AI会不会"幻觉"（瞎编答案）的基准。
先看最直观的一组数字。在Qwen3.5-4B上,Where-OPD在图表理解ChartQA上涨了7.2个百分点,在EvoChart上涨了10.11个百分点,在数数任务CountQA上涨了2.53个百分点,在幻觉检测HallusionBench上更是涨了10.76个百分点。
对比一下用"放大镜小抄"训练出来的Vision-OPD:同样是在Qwen3.5-4B上,数数任务CountQA反而掉了10.73个百分点,HallusionBench掉了3.57个百分点,BLINK基准掉了4.26个百分点。
这组对比数字摆在一起,意味着什么?意味着同样是用"特权信息"去训练老师,给坐标提示和给放大图片,带来的是完全不同的能力迁移方向。放大图片让模型在"需要放大看细节"的任务上变强,却在"需要全局统筹"的任务上变弱;坐标提示则在更广泛的任务上都带来了正向提升,几乎没有明显的副作用。
更让人意外的是迁移效果。整个训练数据都是前面说的那种合成几何图形,图里只有圆形、方块、星星这些简单形状,跟真实世界的照片、图表、文档完全不是一个画风。按理说,AI在这种"卡通画风"的图上学到的本事,应该很难用到真实照片上。
但实验结果显示,这个迁移是真实发生的。在MME-RealWorld这个专门测试真实世界复杂场景理解的基准上,Where-OPD在Qwen3.5-4B上涨了10.64个百分点;在V*这个考验"在高分辨率图里找细节"的基准上涨了5.24个百分点;在HR-Bench 8K上涨了2.67个百分点。平均下来,Where-OPD在CVBench、V*、ZoomBench、BLINK、HR-Bench、MME-RealWorld这六个真实世界基准上的平均提升达到了3.23个百分点。
这就好比一个人在室内用简化的沙盘模型练习了"怎么找路、怎么统计物体数量"这项基本功,练完之后走到真实城市街道上,居然也能更快地找到目标建筑、数清楚路边的车辆。练的是抽象能力,用的是具体场景,这中间的迁移能发生,说明这个基本功本身是通用的,不依赖于沙盘模型长什么样。
坐标信息真的有用吗?拆开来一个个测试
研究者没有满足于"效果好"这个结论,他们还做了一系列拆解实验,想弄清楚到底是哪个环节在起作用。
第一个问题:如果完全不给老师任何特权信息,会怎样?答案是,效果基本停留在原地,跟没训练过差不多（平均分69.63对比原模型的69.63）。这说明老师和学生之间必须要有信息差,否则这套"自蒸馏"机制根本转不起来,就像一个人对着镜子里的自己学习,镜子里的自己如果什么都不多懂,那镜子就是摆设。
第二个问题:如果只给老师裁剪后的图片局部（也就是放大镜那套思路）,效果怎样?平均分反而掉到了68.76,数数任务CountQA更是惨跌到20.22分。这再次印证了放大镜思路的局限性。
第三个问题:如果只告诉老师答案,不告诉它物体在哪,会怎样?平均分能到71.27,比什么都不给要好,但还是不如给坐标。
第四个问题,也是最关键的对比:给坐标但不给最终的计数总数,平均分达到72.35;给坐标又给总数,平均分达到72.94,是所有方案里最高的。
这组数字连起来看,传递的信息很清楚:单纯告诉AI"答案是5"的价值有限,告诉它"证据分别在哪几个位置,加起来是5"才是真正有效的教学方式。这就像教孩子做数学应用题,直接给答案"等于8"孩子记住的只是这一道题,但如果带着他把"3个苹果加5个苹果怎么对应到现实里的哪几堆苹果"讲清楚,孩子学到的是一种可以迁移到别的题目上的思考方式。
训练数据要多大规模,场景要多复杂?
论文还做了几组关于数据规模和场景复杂度的实验,结果也挺有意思。
关于场景的物体密度,研究者试了三种设置:每张图12到40个物体、25到100个、50到200个。结果显示默认的12到40个物体密度,平均分最高,达到72.94,而密度更高的设置虽然在CountQA单项上表现更好（因为数数本身训练素材更丰富）,但综合平均分反而略有下降。这提示了一个微妙的平衡:场景不能太简单,但也未必越复杂越好,过于拥挤的场景可能让模型学到一些不necessary的习惯。
关于训练数据的总量,研究者测试了从1000张到11000张不同规模,结果显示3000张是个甜蜜点,平均分达到72.94,数据量继续增加到6000张、11000张,综合平均分反而小幅下降,尽管某些单项基准（比如EvoChart）还在涨。这说明合成数据这件事上,不是堆得越多越好,找到那个恰到好处的量,比盲目堆量更重要。
关于老师要不要跟着学生一起更新（也就是用滑动平均EMA的方式更新老师参数,而不是完全冻结老师）,实验结果出乎意料:完全冻结老师的效果反而是所有设置里最好的,平均分72.94;一旦让老师也开始缓慢更新,平均分普遍下降到71.8到72.57之间。研究者推测,这可能是因为老师一旦跟着在合成图像上更新,会悄悄引入某种"合成画风偏差",反而削弱了迁移到真实世界的效果。这个发现有点反直觉,毕竟很多蒸馏类方法里,让老师也缓慢进化通常被认为是更稳健的做法,但在这个场景下,保持老师绝对静止反而是更优解。
AI到底在看哪里?注意力图揭示的真相
论文里还做了一组挺直观的可视化实验,把AI在回答问题时,对图片不同区域分配的"注意力"画成了热力图。
在一张图表理解的例子里,问题是"2018年第三高的那条线标签是什么",正确答案是"美国"。原始的Qwen3.5-4B模型答错了,猜成了"欧洲",它的注意力图显示它只盯着图例看,没有去看2018年那个具体数值点的位置。用放大镜思路训练的Vision-OPD同样答错,注意力分布也类似。而用Where-OPD训练后的模型答对了,它的注意力同时覆盖了图例、以及2018年那几条线对应的数值区域,三个关键区域全部被覆盖到。
另一个数数的例子更直观:问"图里有几个黑色星星",正确答案是4个。原始模型只关注到了部分星星,答成3个;Vision-OPD答对了但注意力只覆盖了一个目标区域;Where-OPD的注意力覆盖了全部四个目标星星所在的区域,答案正确。
这些注意力图说明的问题是:当模型被教会"按照坐标清单逐一核对"这种行为模式之后,它内部真实的注意力分配方式也发生了变化,变得更擅长主动扫描、逐一核验,而不是扫一眼就匆忙下结论。这不是巧合,这是训练信号真正塑造了模型的内部行为习惯。
还有一组特别生动的例子,是研究者直接让模型在"思考模式"下输出推理过程,看它是怎么描述图片里物体位置的。比如一张照片里问"走路的人牵的是什么动物",正确答案是山羊。原始模型推理时完全没有给出任何坐标信息,直接猜成了狗。而经过Where-OPD训练的模型在推理文字里主动写出了"右侧的成年人[666, 273, 792, 545]手里拿着一根绳子,旁边跟着一只小动物...这只小动物是山羊[616, 373, 655, 483]",答案正确,而且给出的坐标框确实对应图里真实的山羊位置。
这意味着模型不仅仅是学会了"更准确地回答",它内部生成答案的思考方式本身发生了改变,开始习惯性地去定位、去核实,而不是凭第一印象给答案。
和同类方法比,差距在哪
论文里还对比了另外三种同类的"视觉在线自蒸馏"方法:OPD-V（用正负样本对比的方式构造信息差）、Imagine-OPD（给老师看放大的证据视图,蒸馏成"脑内想象"式的推理）、S?VOPD（反过来操作,不给老师加特权信息,而是给学生做图像增强让它变模糊,制造信息差）。
这几种方法在高分辨率视觉搜索类任务上普遍表现不错,比如在V*上都有5到8个百分点的提升,但在CountQA、BLINK、HallusionBench这类任务上,普遍出现下降或者只是微弱提升。相比之下,Where-OPD在几乎所有基准类别上都保持了正向增长,这也是整篇论文反复强调的核心论点:给出"位置指引"这种特权信息,比给出"更好的视觉"或者"更差的视觉"这类直接操作图像清晰度的特权信息,更能带来广泛、均衡的能力提升。
写在后面
读完这篇论文,最让我意外的一点是那组"冻结老师效果反而最好"的实验结果。
直觉上你会觉得,让老师跟着学生一起慢慢进步,应该是更合理的设计,毕竟很多蒸馏类方法的常规操作就是用滑动平均去更新教师模型。但这篇论文的数据明确显示,在这个场景下,老师完全静止不动才是最优解。研究者给出的解释是"合成图像引入的领域偏移",但这个现象背后可能还有更深的东西值得追问:当老师的特权信息本身就足够精确（坐标清单是程序生成的,绝对准确),老师是否就不再需要通过"进化"来提升质量了,因为它从一开始拿到的小抄就已经是满分答案,进化反而可能是在往"过拟合到合成画风"的方向跑偏。
还有一个细节让我反复想了很久。论文里提到,给老师坐标但不给总数,效果比给总数但不给坐标更好。这说明在这类任务里,"过程"的信息价值可能超过"结果"的信息价值。这个发现放到人类学习这件事上来看,也挺有意思:很多时候我们教人的方式是直接甩答案,但效果可能还不如告诉他该往哪个方向找、该核对哪几个点,哪怕最后不直接给出标准答案。
这篇论文留下的一个开放问题是:程序化生成的合成场景目前还比较简单,只是几何图形的拼接。如果换成更复杂的合成场景,比如带有三维结构、带有遮挡关系的合成场景,这种"坐标指引"式的蒸馏信号会不会带来更大的迁移效果,还是会因为场景过于复杂导致坐标提示本身的信息密度不够而失效?这是个值得继续追下去的问题。
Q&A
Q1：Where-OPD是什么?
A：Where-OPD是一种让多模态大模型自我学习的训练方法，核心做法是给"老师版本"的模型提供文字形式的空间位置提示（比如目标物体的坐标），而"学生版本"只看图片和问题，学生通过模仿老师的行为变得更擅长看图。
Q2：Where-OPD的训练数据从哪里来，需不需要人工标注？
A：训练数据完全由程序自动生成，是在纯色背景上随机摆放彩色几何图形的合成图片。因为生成程序本身就知道每个物体的位置和颜色，坐标提示可以直接从生成过程中导出，不需要任何人工标注或外部模型帮忙识别。
Q3：只用简单的几何图形合成数据训练，为什么能提升真实世界照片的理解能力？
A：论文的实验显示这种迁移确实发生了，模型在MME-RealWorld、V*等真实世界基准上都有明显提升。研究者认为这是因为模型学到的不是具体画面特征，而是"主动定位证据再回答问题"这种通用的思考习惯，这种习惯本身不依赖于训练图片的画风。
