Token导航 LogoToken导航

AI 资讯 · 科技行者

G3VLA为VLA模型补充双目几何感知能力

更新 2026-11-17科技行者正文 6492字阅读约 21分钟

你有没有想过,给机器人装上两个摄像头,到底能带来什么好处?

直觉上答案很简单:两个角度看世界,当然比一个角度看得更清楚。可现实是,现在主流的机器人大脑,也就是那些视觉语言动作模型,拿到两个摄像头的画面后,居然把它们当成两张毫无关系的照片分别处理。

这就好比你有一双眼睛,但大脑从不把左右眼看到的画面拼起来算距离,只是各自看各自的,然后硬猜東西有多远。听起来很荒谬,但这正是当前VLA模型的真实处境。

这篇论文要解决的,就是这个被忽略多年的问题。

一台相机拍出来的照片,看似只是一张二维图像,背后其实藏着一整套数学关系。相机的焦距、主点位置决定了每个像素对应现实世界中的哪条光线,这叫做

内参*:相机内参,描述镜头本身的光学特性,比如焦距和成像中心,决定了像素坐标和真实世界光线方向之间的换算关系。

而相机摆放的位置和朝向,则决定了这条光线在整个场景坐标系里具体指向哪里,这叫做

外参*:相机外参,描述相机在三维空间中的位置和朝向,也就是相机相对于世界坐标系的旋转和平移关系。

这些信息工程师其实都是知道的。做机器人系统时,相机标定是基本操作,内参外参早就算得清清楚楚放在那儿。可现在的VLA模型压根不用这些现成的数据,它们把每张图片简单切成一个个小方块(术语叫patch),然后喂给一个视觉编码器,期望模型自己从海量的"看图做动作"的训练数据里,慢慢悟出相机几何学。

这就像你给一个新员工发了详细的产品说明书,但要求他绝对不许看,只能靠反复试错去猜产品怎么用。说明书明明就在那儿,却被刻意束之高阁。

如果只是效果差一点也就算了,更麻烦的是这套机制特别脆弱。只要把摄像头挪个位置,同一个场景投影到图像上的样子就完全变了,模型因为从没真正理解过相机几何,只能依赖训练时见过的视角硬记,一旦换个新机位就可能直接懵圈。这在实验室里或许还能忍,但真实世界里机器人摄像头稍微挪动、磕碰、重新安装都是家常便饭,这种脆弱性是致命的。

论文作者们的思路其实挺直接:你不是不敢信任相机标定数据吗?那我们把它明明白白地喂给模型,让模型从一开始就知道每个像素对应的光线方向,知道不同摄像头之间的空间关系。这就是这篇论文提出的核心方法,一个叫做G3VLA的几何感知模块。

给每个像素装一个"方向感"

G3VLA做的第一件事,是给每个图像小块加上一个方向信息,叫做

射线嵌入*:一种给图像每个像素块编码其对应三维观察方向的技术,利用相机内参的逆矩阵计算出该像素对应的光线方向,让模型知道这个像素"看向"空间中的哪个方向。

具体的数学处理是这样的:对于图像上的每一个像素坐标,用相机内参矩阵的逆去乘它,就能得到这个像素对应的归一化方向向量。因为针孔相机模型的几何性质,这个向量的前两个分量就足够描述这条光线的方向,不需要知道距离有多远。

这一步解决的问题其实很精巧。两张不同焦距相机拍下的同一个像素位置,物理含义完全不同。广角镜头和长焦镜头在同一个像素坐标上对应的实际视角范围天差地别,可传统的二维位置编码完全体会不到这个区别,它只知道"这是图里第(3,5)个小方块",根本不知道这个小方块对应现实中多宽的视野。

打个比方,这就像你给两个人发了同样的地图坐标,却没告诉他们地图的比例尺。一个人的地图是1:1000,另一个是1:100000,同样的坐标在两张图上代表的实际距离完全不一样。如果不告诉他们比例尺,两人永远没法准确沟通位置关系。射线嵌入做的事情,正是把"比例尺"这个关键信息直接焊进了每个像素的表达里。

让不同视角的信息真正对话

光知道每个摄像头自己看到的方向还不够,更重要的是,当你有多个摄像头时,它们之间的空间关系也必须被模型理解。

这里用到了一种叫

投影位置编码*:论文中引用的PRoPE技术,根据相机内参、外参和图像块位置,为注意力机制中的查询、键、值向量计算固定的投影变换,让跨视角的注意力计算基于真实的相机几何关系,而不只是靠图像内容的相似度去匹配。

的技术。配合一种叫做

双向跨视角融合*:一种让多个摄像头拍摄的图像块之间能够互相"看到"彼此的机制,先在每个摄像头内部做注意力计算保留局部结构,再把所有摄像头的图像块拼在一起做全局注意力,让不同视角的信息充分交流。

的设计。

这两步合起来做的事情是,先让每个摄像头内部的图像块先互相理解(叫做帧内注意力),然后再让所有摄像头的图像块放在一起互相关注(叫做跨视角注意力)。关键是,这个跨视角关注不是瞎猜谁和谁像,而是有数学依据的,相机之间的相对位置关系被直接编码进了注意力计算过程里。

这就好比开一场多语言会议,如果没有翻译,每个人只能靠表情和语气猜测别人在说什么,经常会错意。而PRoPE相当于给每个人配了一个同声传译,这个翻译不是随便翻的,它精确知道发言人的"方言背景"(也就是相机的内参外参),翻译出来的内容带着明确的坐标换算关系,接收方可以直接拿来用,而不需要自己再去猜测。

没有标定数据怎么办?用AI老师来补课

光设计好这套几何感知的结构还不够,模型还需要有监督信号去学习怎么用这些几何信息。最理想的情况是有真实的深度数据,但现实中很多场景根本没有深度传感器。

论文给出的方案是双轨制。如果有真实深度数据,比如在仿真环境里,就直接用

点图*:描述场景中每个像素对应三维坐标的数据表示,通常包含该点在相机坐标系下的位置信息,可以由深度传感器测量或由视觉几何模型预测得到。

做监督。如果没有,就请一个叫

π?X的离线教师模型*:一种视觉几何模型,能够从普通RGB图像预测出每个像素的三维点位置以及一个置信度分数,用来在没有深度传感器的情况下生成几何监督信号。

来给机器人模型上课,这个教师模型会给每个像素预测一个三维坐标和一个置信度,论文设定只有置信度超过0.1的像素才被用来做监督,这叫做

置信度门控*:只采用预测置信度足够高的像素作为训练监督信号的策略,过滤掉模型不确定的预测,避免错误信息污染训练过程。

这套设计的巧妙之处在于,它承认了一个现实:AI老师的预测不可能处处准确,有些地方它自己都不确定。与其让这些不靠谱的预测误导学生模型,不如干脆筛掉它们。就像一个辅导老师批改作业时,碰到自己都没把握的题目,与其乱给答案误导学生,不如直接说"这题我也不确定,你先跳过"。论文的实验显示,即便过滤掉了四分之一左右的像素(置信度阈值0.1到0.2之间,保留的像素比例从94%降到74%),最终的成功率几乎没有变化,依然稳定在86.8%到87%之间。这说明高质量的少量监督信号,比囫囵吞枣式的全量监督更有效。

训练过程分成了两个阶段,先冻结原本的模型主体,只训练新加的几何模块,让它先学会怎么理解相机几何,再解冻整个模型,让动作预测的任务重新占主导地位,几何监督则变成一个轻量级的正则项,继续在后台默默校正。这就像先让一个新人单独练习某项专业技能,等他掌握得差不多了,再把他放进真实的工作流程里,和其他任务一起协同配合。

成绩单:三个基准测试全部提升

说了这么多设计思路,实际效果到底怎么样?

论文在三个常用的机器人操作仿真基准上做了测试,基座模型用的是π0

LIBERO测试*:一个常用的机器人操作仿真基准测试集,包含Goal、Spatial、Object、LIBERO-10四个任务套件,分别考察不同类型的空间操作能力。

在LIBERO上,原始π0模型的平均成功率是84.6%,加上G3VLA用真实点图监督之后提升到了88.1%,提升了3.5个百分点。更值得关注的是,即便没有真实深度数据,只用π?X教师模型做监督,成功率也能达到87.0%,提升2.4个百分点,这说明这套方法在缺乏精确标定数据的真实场景里依然管用。

在更复杂的家居任务RoboCasa24上,整体成功率从34.2%提升到了37.1%(真实监督)和36.5%(π?X监督)。在三摄像头的双臂操作任务RoboTwin2.0上,简单难度下平均成功率从63.8%涨到69.2%,困难难度下从11.6%涨到15.8%,困难任务的提升幅度相对更明显,说明越是难的任务,几何信息的价值越能体现出来。

换个角度看世界,模型还认得出来吗

这篇论文最让人眼前一亮的部分,其实是对相机视角泛化能力的测试。

研究者专门构建了一个叫做camera-shifted LIBERO-Goal的测试集,把同样500条演示数据,从16个不同的第三人称视角重新渲染出来,这些视角在偏航角、俯仰角和拍摄半径上各不相同。训练时模型只见过这16个视角,评测时额外准备了8个从没见过的视角,专门考察模型会不会被突如其来的视角变化难倒。

结果是,普通模型在没见过的视角上成功率从训练视角的86.1%掉到了80.6%,下降了5.5个百分点,说明摄像头一换,模型确实有点懵。而加了G3VLA之后,没见过的视角成功率不但没掉太多,反而达到了87.0%,相比基线模型的80.6%,足足提升了6.4个百分点,比在训练视角上的提升幅度(3.0个百分点)还要大。

这个结果很有意思:一个方法通常是在它熟悉的场景里表现得更好,但G3VLA恰恰相反,在陌生场景里的提升幅度比熟悉场景里更大。这恰恰印证了论文的核心假设,真正理解相机几何的模型,面对任何一个新摆放的摄像头,都能通过数学关系推算出该怎么看,而不需要死记硬背某个特定视角下物体长什么样。

论文还细分了8种具体的视角变化类型,比如往左偏航、往右偏航、俯仰角变高、变低、拍摄距离变近、变远,以及几种组合极端情况。结果显示G3VLA在全部8种变化类型上都超过了基线模型,其中有几种极端情况提升特别明显,比如从一个偏远的组合视角拍摄时,成功率从68.3%提升到了78.3%,提升了整整10个百分点。

真实机器人上的考验

仿真测试固然说明问题,但机器人研究的终极考验永远是真实世界。论文在一台双臂UR5机器人上做了真实实验,一只手臂负责操作,另一只手臂举着context相机(用来提供第三人称视角)。两个任务,一个是把试管从一个架子转移到另一个架子,另一个是把螺母倒入容器并完成堆叠。

训练数据来自10个不同的context相机视角,评测时用了2个训练过的视角和3个从没见过的视角。在倒螺母这个任务上,G3VLA对π0和π0.5两个不同的基座模型都稳定提升了未见视角下的表现。在试管转移任务上,G3VLA在π0.5上的效果尤其亮眼,未见视角成功率从41.7%直接跳到58.3%。

这说明实验室里跑出来的结论,并不只是纸面上的数字游戏,在真实的机械臂、真实的光线和真实的物理误差下,这套几何感知机制依然能发挥作用。

是几何本身在起作用,还是模型变聪明了

这里有个很关键的质疑需要正面回答:加上G3VLA之后参数多了,训练过程也更复杂了,那性能提升到底是因为真的学到了有用的相机几何知识,还是仅仅因为模型"更复杂了所以更聪明了"?

研究者设计了一组对照实验来回答这个问题。他们保持G3VLA的架构完全不变,只是故意把相机的内参外参打乱,换成随机值。结果很说明问题:如果只在推理阶段乱给假的相机参数(但训练时用的是真实参数),成功率从87.0%暴跌到79.2%,掉了近8个百分点。如果训练和推理阶段都一直用乱的参数,成功率能恢复到83.8%,但依然比用真实参数低3.2个百分点,甚至比完全没有G3VLA模块的原始基线模型(84.6%)还要低。

这个实验结果非常关键。它说明G3VLA这套结构本身,如果喂给它的是假的、不一致的几何信息,不仅不会帮忙,反而会拖后腿,比什么都不加还差。这就像给一个导航系统接上一个卫星定位模块,如果这个定位模块输出的坐标是瞎编的,那司机根据这个假坐标开车,会比完全不用导航、凭记忆开车更容易迷路,因为假信息比没信息更有误导性。这个对照实验排除了"只是因为模型变复杂了所以变强"的解释,证明真正起作用的,是正确的相机几何信息本身。

另外一组实验测试了对标定误差的容忍度,把焦距故意偏移2%,主点偏移2个像素,相机平移偏移1厘米,旋转偏移1度,结果成功率只掉了0.3到0.4个百分点。这说明这套方法不需要像实验室里那样做到像素级的精确标定,日常的轻微标定误差完全可以容忍。

拆开看每个零件的作用

论文还做了细致的消融实验,把G3VLA拆开,一个一个零件地看它们各自的贡献。

去掉射线嵌入(但保留跨视角融合),成功率从87.0%降到85.0%。去掉投影位置编码(但保留射线嵌入),降到85.9%。把两阶段训练换成一次性联合训练,降到86.3%。这三个数字放在一起看,说明每个设计环节都确实在发挥作用,而不是某一个部件单独撑起了全部提升,它们是一个互相配合的整体。

跨模型的可移植性

研究者还在另外两个基座模型上做了验证,一个是π0.5,另一个是GR00T 1.5。在已经接近满分的π0.5 LIBERO基准上(基线已经达到95.9%),G3VLA依然把成绩推高到了97.0%。在架构完全不同、用双塔结构把视觉特征通过交叉注意力接入冻结语言模型的GR00T 1.5上,提升幅度相对温和一些,从94.9%到95.3%,不同架构下的收益确实有差异,但方向上都是正的。

额外的开销有多大

这套几何模块听起来功能很丰富,会不会让模型变得又大又慢?实际数据显示增加的开销相当克制。训练时多了5670万参数(占比1.62%),部署时去掉辅助预测头之后只多了4830万参数(占比1.38%)。推理延迟从112.3毫秒只涨到115.7毫秒,增加了3%左右,这个幅度在真实机器人应用里基本可以忽略不计。

写在后面

读完这篇论文,最触动我的其实不是那些提升了几个百分点的表格,而是那个"随机打乱相机参数反而比完全不用几何模块更差"的对照实验。

这个细节值得单独拎出来说一说,因为它其实在提醒我们一件更普遍的事情:给一个系统添加结构化的先验知识,如果这个先验是错的或者不一致的,它造成的伤害可能比完全不给任何先验更大。这跟很多工程直觉是相反的,人们通常觉得"多给点信息总没坏处",但这个实验说明,信息的质量比信息的数量更重要,错误的确定性比正确的不确定性危害更大。

另一个让我反复琢磨的地方是,这篇论文选择的路径其实挺克制的。它没有重新设计一套全新的三维表征,没有引入额外的点云处理分支,而是直接利用了机器人系统里早就存在、但被浪费掉的标定数据。这种"用好手头已有的资源"而不是"造一个更复杂的轮子"的思路,在当下这个动辄堆参数堆数据的AI研究氛围里,显得有点朴素,但朴素不代表容易,怎么把这些现成信息巧妙地嵌入到预训练模型的视觉令牌流里,还不破坏原有的动作预测能力,这本身就是个不小的工程挑战。

论文里还提到一个没有深究的细节:在评测视角泛化能力时,研究者承认他们没有逐帧检查目标物体是否在画面里可见,有些低机位或近距离视角可能会暂时把操作目标挡在画面外,这时候模型其实是靠手腕相机在硬撑。这种数据噪声没有被完全清理,作者选择诚实地把它写出来,并补充说明即便排除掉这些可能有问题的视角组合,结论依然成立。这种不回避自身局限性的态度,比强行把所有数字都做得完美无瑕更让人信任这篇论文的结论。

那么下一个问题自然就冒出来了:如果相机的内参外参这种"免费的"几何先验能带来这么明显的提升,机器人系统里还有哪些同样被标定好、却从没被真正利用起来的物理信息,正安静地躺在某个配置文件里,等着被有心人翻出来用?

Q&A

Q1:G3VLA是什么?

A:G3VLA是一种给视觉语言动作机器人模型加装相机几何感知能力的模块,它把相机的内参外参直接编码进视觉处理流程,让机器人模型能理解不同摄像头之间的真实空间关系,而不需要改变模型原有的动作预测方式。

Q2:G3VLA需要深度传感器吗?

A:不一定需要。如果有真实深度数据,比如仿真环境,可以直接用它做监督;如果没有,可以用π?X这种视觉几何模型生成的预测结果加置信度过滤来代替,照样能训练出效果提升。

Q3:换个摄像头位置,机器人还能正常工作吗?

A:实验显示加了G3VLA之后,面对从没见过的摄像头视角,成功率比原模型高出6.4个百分点,提升幅度比在熟悉视角上还大,说明这套方法确实提高了模型应对视角变化的能力。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。