你有没有试过蒙着眼睛描述一个房间的布局？
大概率会出错。你可能记得沙发在左边，但说不准它离门到底有多远；你可能记得有把椅子，但转个身就忘了它朝哪个方向。现在的视觉语言模型，也就是能看图说话、还能回答图片相关问题的AI，干的其实就是这件事：它们看到的只是一张张扁平的RGB图片，却要回答"沙发离门多远""往左转还是往右转能到喷泉"这种需要立体空间感的问题。
这就好比让一个只能看照片、不能走进房间摸一摸的人，去判断两件家具之间的真实距离。他看到的只是光影和像素，没有深度信息，没有真实的尺子。AI也是这样，RGB图片本身不携带几何证据，模型只能靠"脑补"去猜测深度和方位，猜错是常态。
这篇来自浙江大学团队的论文，就是在解决这个"蒙眼猜房间"的问题。他们的方法叫GPD，中文可以理解为"几何特权蒸馏"，核心思路挺巧妙：训练的时候偷偷给AI开个"天眼"，让它能看到深度图、物体位置这些真实的三维信息，但考试（也就是实际使用）的时候这个天眼必须关掉，AI还是只能看普通照片回答问题。
这篇论文到底在较什么劲
先说说现在的两条技术路线各自的难处。
第一条路是"硬装备"流派：直接给AI装上三维感知的硬件或者算法模块，比如深度编码器，或者在推理时调用额外的三维重建工具。这样做效果确实好，但代价也摆在那儿：模型变复杂了，推理变慢了，部署成本直接上去了。
架构修改*：指的是在模型本身的网络结构里加入额外模块，比如处理三维信息的编码器，这种改动会让模型变得更重、更慢。
第二条路是"只看结果"流派：用问答数据去训练模型，告诉它正确答案是什么，让它自己在强化学习中慢慢调整。这条路保留了AI只看RGB图片就能用的便利性，但问题在于，监督信号只来自最终答案对不对，而不管AI是怎么"想"出这个答案的。
这就留下一个大漏洞。如果AI推理过程中有个环节判断错了，比如把远近顺序搞反了，或者把左右弄混了，但最后蒙对了答案，这种错误根本不会被纠正。更糟的是，如果AI最后答错了，你也不知道它是哪一步出的问题，是看错了深度，还是搞错了方向，还是压根没理解题目。
论文作者的洞察在于：空间推理的错误，往往源头是感知层面出的问题，而不是逻辑推理层面。模型先是看错了景深、位置或者大小，然后在这个错误的事实基础上"合理地"推导下去，得出一个听起来逻辑自洽、实际上满盘皆错的答案。
出错的根子抓错了，怎么纠正都是隔靴搔痒。只给答案对错的反馈，就像老师批改数学卷子只打对号叉号，从不告诉学生是哪一步算错了。学生下次大概率还是在同一个地方栽跟头。
那为什么不干脆一直给AI看深度图、三维信息呢？因为真实场景里，AI部署使用的时候往往只有摄像头拍的普通照片，没人会专门给它配一套三维扫描设备。这些宝贵的几何真相，只存在于训练数据的来源，也就是那些用三维扫描仪采集的真实场景数据集里。训练时有，用的时候没有，这就是论文标题里说的"privilege"，也就是特权信息的来由：这些信息只能在训练阶段享受特权待遇，上岗以后就得交出去。
特权蒸馏：怎么让AI偷师而不作弊
GPD的解决方案建立在一个叫做"同策略自蒸馏"（On-Policy Self-Distillation，简称OPSD）的技术框架之上。
同策略自蒸馏：让同一个模型扮演两个角色，一个是"学生"只看基础信息自己做题，另一个是"老师"额外看到更多信息后去给学生的答题过程打分，用这个打分结果去修正学生的行为，而不是直接告诉学生正确答案。
这个思路乍一看有点奇怪，老师和学生是同一个模型？其实理解起来并不难，就像一个人做完一套题之后，拿着参考答案和解析重新审视自己刚才的每一步推理，然后用"事后诸葛亮"的视角去评价自己当时的思路好不好。这个"开天眼复盘"的过程，就是用来生成训练信号的。
在GPD这里，这个开天眼的内容被具体化了：深度信息、语义分割信息、还有鸟瞰图信息。
深度信息*：记录画面里每个物体离摄像机有多远，谁近谁远排好顺序。
语义分割*：标出图片里每个物体是什么、大概占据什么位置和区域。
鸟瞰图*（Bird's-Eye-View，简称BEV）：把场景从空中俯视的角度重新画出来，呈现物体之间的上下左右相对关系。
这三类信息不是靠AI自己脑补的，而是从真实三维扫描数据里直接提取，或者用专门的深度估计模型（Depth Anything 3）和图像分割模型（Grounded-SAM-2）离线算出来、提前存好的。这意味着这些几何证据是经过验证的真实信息，不是另一个AI模型的猜测结果。
问题导向的路由：别一股脑全塞给老师
这里有个很实际的问题：深度、语义、鸟瞰图这三种信息，是不是每道题都得全给老师看？
论文作者发现答案是否定的。数清楚房间里有几把椅子，这种计数问题几乎完全依赖语义信息，给深度图反而没什么用；判断两个物体之间的绝对距离，主要靠深度信息，鸟瞰图帮助不大；判断房间整体大小，鸟瞰图的贡献几乎是压倒性的。
于是GPD设计了一个"问题导向路由"机制，用AI自己先判断一下，这道题该调用哪几类几何信息，而不是不管三七二十一全部塞给老师看。
这就像医生看病开检查单，感冒发烧没必要让病人去做核磁共振，骨折了也不用去验血常规。不对症下药地把所有检查都做一遍，不仅浪费资源，还可能因为信息过载让医生抓不住重点，反而耽误诊断。论文的实验也证实了这一点：把全部三类信息无差别地塞给老师，效果反而比精准路由差了1.7个百分点，证明了信息泛滥比信息精简更糟糕。
只纠正做错的题，别打扰做对的
GPD还有一个很关键的设计：这个"老师复盘打分"的监督信号，只用在学生答错的那些题目上，答对的题目完全不去管。
这个设计的道理其实很朴素。如果学生这道题已经做对了，老师还非要跳出来指指点点、说你这一步应该这样想那样想，很可能是画蛇添足，甚至把学生原本正确的思路搅乱了。论文的消融实验验证了这个直觉：如果把这个纠偏信号用到所有轨迹（包括答对的）上，整体平均分反而从41.5掉到了40.6，下降了0.9个百分点。只盯着错题去纠正，才是性价比最高的做法。
这跟老师批改作业的逻辑完全一致。一道题学生做对了，老师还要求他重新按照"标准解法"再做一遍，这不仅浪费时间，还可能让学生怀疑自己原本正确的做法是不是有问题，反而动摇了本来扎实的理解。只在学生做错的地方给出针对性反馈，才是真正高效的教学方式。
GRPO：强化学习的另一条腿
GPD并不是凭空另起炉灶，它是在一个叫做GRPO（Group Relative Policy Optimization，分组相对策略优化）的强化学习算法基础上做的增强。
GRPO*：一种强化学习训练方法，让模型针对同一个问题生成多个不同的回答，再根据这些回答的最终对错情况算出一个相对的"优势分数"，用这个分数去调整模型，使得好的回答被鼓励、差的回答被抑制。
GPD做的事情是，在GRPO原本"只看结果对错"的训练信号之外，额外叠加了前面说的"老师复盘打分"信号，两者加权合并成最终的训练目标。这样模型既能从最终答案的对错中学习，也能从推理过程中每一步是否符合几何事实中学习，两条腿走路。
效果如何：数字说话
论文在Qwen3-VL这个开源视觉语言模型的2B和4B两个参数规模版本上做了实验，测试了五个专门评估空间推理能力的基准数据集。
在VSI-Bench（一个专门评测视频空间理解的基准）上，4B规模的GPD模型拿到了57.1分的平均成绩，比直接用GRPO训练的56.4分高了0.7分，比答案特权版本的OPSD（55.7分）高了1.4分，比完全不加任何特殊训练的基线模型（55.4分）高了1.7分。
在另外四个基准（MindCube考察有限视角下的空间心理建模、SPAR-Bench考察三维物体关系、MMSI-Bench考察多图空间智能、ViewSpatial考察视角相关的空间理解）上，4B模型的GPD平均达到了37.6分，相比GRPO的35.7分提升了1.9分，相比OPSD的31.5分更是提升了6.1分，提升幅度相当明显。尤其在MindCube这个任务上，GPD拿到38.0分，比GRPO的33.0分高出整整5个百分点。
更值得一提的是零样本测试环节的发现。研究者在正式强化学习训练之前，先做了个对照实验：直接把不同形式的三维信息（完整的三维图片、路由筛选后的图片、完整文本、路由筛选后的文本）喂给模型，看哪种形式最有帮助。结果挺出人意料：
把图片形式的三维信息直接塞给模型，无论是完整的还是经过路由筛选的，效果都比完全不给任何额外信息的基线（49.1分）更差，分别只有47.4分和48.3分。完整的文本描述同样效果不佳，只有48.3分。唯独经过问题导向路由筛选后的文本描述，达到了52.2分，比基线整整高出3.1分。
这说明把几何信息转换成结构化的文字描述，比直接塞图片效果好得多。这其实不难理解：图片信息对AI来说是另一种需要"视觉理解"的负担，而文字描述可以直接和AI原本的语言推理链条无缝衔接，不需要再经历一次视觉转语言的转换损耗。这就好比给一个正在用数学公式解题的人，你给他一张示意图和给他一行写好的坐标数值，后者往往能更直接地代入计算，前者还得先"读图"才能提取出可用信息。
AI到底有没有把几何知识学到脑子里
这是个挺关键的验证问题：GPD训练出来的模型，是不是真的把几何推理内化了，还是说它其实偷偷依赖着训练时看到的那些特权信息，一旦撤走立马现原形？
研究者做了个巧妙的对比实验：测试的时候，分别给GRPO模型和GPD模型额外注入路由后的三维文本信息，看它们的成绩能提升多少。
结果是，GRPO模型在测试时拿到额外的三维信息后，成绩从54.9跳到57.0，提升了2.1分，说明它平时推理很依赖外部信息的补充。而GPD模型本身在没有任何额外信息、纯靠RGB图片推理时就已经达到56.3分，拿到额外信息后只小幅提升到56.9，涨幅仅有0.6分。
这个"涨幅更小"恰恰是好事，它说明GPD模型已经把训练阶段学到的几何推理能力内化进了自己的权重里，不再像GRPO模型那样严重依赖临场提供的外部拐杖。这就好比一个学生平时做数学题总是偷偷翻书，一旦考试不让带书，成绩立马暴跌；而另一个学生虽然平时也参考过答案，但他是真正理解了解题方法，考试不让带书影响也不大，甚至临场再给他提示一下，他的提升空间也很有限，因为该会的早就会了。
案例还原：一道题里的差距
论文里有个具体案例很说明问题。题目是四张从不同角度拍摄的室内照片，问如果站在图2的位置朝图2的方向看，然后向左转再往前走，是否会离一个石头喷泉更近。
用GRPO训练的模型答错了，它的推理过程里写道"喷泉在罐子的右边，往左走会靠近墙壁、远离喷泉"，这是一个典型的方位判断失误。
而GPD训练的模型推理过程清晰得多：先定位摄像机在图2里相对于中央罐子的位置，再推算向左转并前进后会朝向画面的哪个方向，最后通过跨图对照，确认喷泉恰好就在这个新方向上，于是正确给出了答案。
这个案例的价值在于，它具体展示了"过程监督"相对"结果监督"的优势所在。GRPO模型不是逻辑推理能力差，它的问题出在最开始的空间定位环节就偏了，后面的推导再严密也是错上加错。而GPD因为在训练中专门针对这种容易出错的几何环节做了纠偏，所以能在源头上避免这种偏差。
写在后面
读完这篇论文，印象最深的其实是那个"路由"的设计。很多技术论文一讲到引入额外信息，第一反应往往是"信息越多越好"，恨不得把所有能用上的数据都塞进模型里。但这篇论文的实验明明白白告诉我们，全量注入三维信息的效果反而比精准筛选差了将近两个百分点。这提醒我一件事：给AI喂信息，和给人喂知识其实是一个道理，消化不了的信息不是财富，是噪音。
还有一个细节值得玩味：论文发现"图片形式的三维信息"效果反而不如"文字形式"，哪怕图片里包含的信息量理论上更丰富。这多少打破了一种直觉，我们总觉得图像是更直观、更丰富的信息载体，但对于一个正在用语言链条做推理的模型来说，图像反而成了一种需要额外解码的"外语"，不如直接给它一份用母语写好的说明书来得痛快。这个发现对以后设计多模态训练方案，可能是个值得记住的提醒：模态匹配比信息总量更重要。
论文没有回答的一个问题是：如果换成完全没有三维扫描数据支撑的场景，比如户外开放环境或者动态变化的场景，这套"路由筛选几何特权"的思路还能不能奏效？毕竟论文里用到的训练数据大部分来自ScanNet这类室内三维扫描数据集，真实世界要复杂得多。这或许是留给后来者的一道题。
Q&A
Q1：GPD是什么？
A：GPD全称是Geometry-Privileged Distillation（几何特权蒸馏），是一种训练视觉语言模型做空间推理的方法。它在训练阶段额外给模型提供深度、语义、鸟瞰图等三维几何信息作为"特权信息"，用来纠正模型推理过程中的错误，但部署使用时模型依然只依靠普通RGB图片进行推理。
Q2：GPD和直接给AI配三维传感器有什么区别？
A：直接配三维传感器属于论文中说的"显式三维方法"，需要改动模型架构或增加推理时的硬件、算力开销。GPD则完全不改变模型推理时的输入形式，三维信息只在训练阶段以"老师给学生复盘打分"的方式发挥作用，部署时模型依旧是纯RGB输入，不增加任何推理成本。
Q3：GPD的效果具体好在哪里？
A：在4B参数规模下，GPD在VSI-Bench上取得57.1分，在MindCube、SPAR-Bench、MMSI-Bench、ViewSpatial四个基准上平均达到37.6分，均优于普通GRPO训练和答案特权版OPSD。实验还证明GPD训练出的模型能把几何推理能力真正内化，不依赖测试时的额外信息提示。
