Token导航 LogoToken导航

AI 资讯 · 科技行者

VLA-Δ用状态差异监督破解机器人动作生成难题

更新 2026-11-20科技行者正文 7359字阅读约 23分钟

你有没有想过,为什么家里的扫地机器人撞到桌脚后,还会固执地朝同一个方向撞第二次?

这不是因为它笨,而是因为它根本没理解"撞到桌脚"这件事意味着什么。它只是在重复一套记好的动作序列,而不是在理解空间里正在发生的变化。

这个问题放大到更复杂的机器人身上会更明显。想象一个机械臂要完成"把苹果放进容器"的任务,结果它在还没碰到苹果的时候就提前合上了夹爪,或者抓取失败之后依然傻傻地往放置点移动,仿佛什么都没发生过。这种场景在当前的机器人研究里不是个例,而是一个相当普遍的现象。

这篇来自浙江大学OmniAI Group的论文,就是冲着这个问题来的。它提出的方法叫VLA-Δ,核心思路听起来简单到有点反常识:让机器人不仅学会"看到什么就做什么",还要学会"预判接下来会发生什么物理变化"。

机器人到底卡在哪里

要理解这篇论文的价值,得先搞清楚现在的机器人大脑是怎么工作的。

目前主流的机器人控制系统叫VLA模型

VLA模型*:Vision-Language-Action模型的简称,意思是能同时处理视觉、语言和动作三种信息的机器人控制系统,比如RT-2、OpenVLA、π0这些都是这个家族的成员。

这类模型的训练逻辑说起来直白:喂给它大量"看到的画面加对应的动作"的配对数据,它就学着从画面直接映射到动作。听起来挺合理,毕竟人类学开车也是靠大量练习形成的肌肉记忆。

但问题就出在这里。模型学的是观察和动作之间的对应关系,而不是物理世界里到底发生了什么变化。它记住的是"看到这个场景就该这样动手",而不是"物体现在处于什么状态,接下来状态会怎么转变"。这就导致模型很容易陷入一种"背答案"的状态,遇到和训练数据稍微不一样的情况,就容易出戏。

这就好比一个学生死记硬背了一百道数学题的解法,看到第一百零一道题稍微换了个数字,就完全不知道怎么下笔了。他没有理解背后的数学原理,只是记住了特定题目和特定答案的配对关系。如果训练时多加一步"讲清楚每道题背后的数学逻辑是什么",学生遇到新题目时至少知道该往哪个方向想,而不是直接卡死。这不是装饰性的比喻,它精确对应着VLA模型的核心缺陷:缺乏对中间物理状态变化的显式监督。

那有没有人尝试解决这个问题?有,但解决得不够彻底。

论文里把现有的解决思路分成了几类。第一类叫推理式VLA,比如ECoT这个方法,会让模型先用语言描述一下"接下来要做什么",比如"先把夹爪移到苹果上方,然后合上夹爪抓取"。这种做法确实加入了思考过程,但这些推理停留在高级任务规划层面,没有具体说清楚物体和机器人之间的物理关系到底怎么变化。

第二类叫世界动作模型

世界动作模型(WAM)*:一种让机器人先在脑子里生成未来画面,再根据这个想象画面决定怎么动作的技术路线,核心想法是通过预测未来的视觉场景来指导当前动作。

这类方法听起来很酷,机器人仿佛拥有了想象力。但生成未来图像这件事本身计算量很大,而且图像重建主要保证的是画面看起来合理,并不能精确告诉模型哪些变化才是完成任务真正需要的。换句话说,它可能生成了一张看起来挺真实的未来画面,但这张画面里哪个细节是任务关键,模型自己也不一定清楚。

第三类叫隐空间世界模型

隐空间世界模型(Latent-WAM)*:把未来预测从具体图像转移到抽象的特征向量空间进行,这样做能省去生成图像的计算成本,但代价是预测的内容依然只是视觉层面的东西,没有触及物理状态和接触关系的本质。

这三类方法有一个共同的短板:它们监督的东西要么太抽象(任务语义),要么太表面(视觉画面),都没有碰到真正决定动作该怎么做的核心变量,也就是物体的位置怎么变、机器人和物体的接触状态怎么变。

VLA-Δ的核心主张就是,干脆把这些物理状态的变化本身当成明确的学习目标。

既要懂语义,也要懂运动细节

VLA-Δ的设计思路是搭建一组可学习的查询向量

物理状态差异查询*:论文里设计的一组特殊参数,可以理解为模型内部专门负责"思考状态会怎么变化"的几个脑细胞,它们会跟视觉和语言信息一起进入模型主干网络,输出一份浓缩的"状态转变表示"。

这份表示不是凭空产生意义的,论文设计了三条监督路径,分别从三个角度逼着这组查询学会表达真正有用的信息。

第一条路径叫结构化转变槽

结构化转变槽(Structured Transition Slots)*:把物理状态拆解成九类具体变量进行监督,包括任务进度、任务阶段、目标位置、夹爪位置、运动位移、可交互位置、夹爪状态转变、接触状态转变、障碍风险。

这九个变量各自对应模型里特定的一组查询向量,相当于给每个查询分配了明确的职责分工。举个例子,专门负责"任务进度"的那组查询,就要学会预测当前任务完成了百分之多少,下一步会完成到百分之多少。专门负责"接触状态"的那组查询,要学会判断夹爪现在是不是在接触物体,接下来是建立接触、维持接触、还是分离。

这种设计像什么?

想象你带一个新员工上手一条生产线,如果你只跟他说"看着老员工做,照着模仿就行",他可能表面学得挺快,但遇到流程稍微变化就手足无措。换个做法,你把生产流程拆成几个明确岗位,专门有人负责质检、专门有人负责装配、专门有人负责包装,每个人清楚自己该盯着哪个指标。这样整条线遇到突发情况时,至少每个岗位的人知道自己该关注什么变化。如果不这样拆分职责,所有信息混在一起让一个人全权处理,他很可能顾此失彼,连基本的状态都判断不清楚。结构化转变要做的就是这件事,给模型内部的信息处理分配清晰的职责边界。

第二条路径叫稀疏光流监督。

光流*:描述图像里每个像素点从一帧到下一帧移动了多远、往哪个方向移动的技术,常用于视频分析里追踪物体运动。

结构化转变槽管住了几个关键变量,但它毕竟是粗粒度的,没法覆盖物体移动、夹爪靠近、局部对齐这些细腻的视觉运动细节。于是论文又加了一层光流监督,让模型学会预测当前画面和未来画面之间每个像素的二维位移。这一步相当于给模型补上了"动作细节放大镜"。

第三条路径最有意思,叫未来状态差异文本。

未来状态差异文本(Future-State Difference Text)*:用一段连贯的自然语言描述当前状态到未来状态之间,任务进度怎么变、空间位置怎么变、接触关系怎么变、还有必须遵守的物理约束是什么。

这一段文字不是随便生成的,它是通过模型原生的自回归语言生成机制学出来的,并且论文设置了一个很关键的注意力限制:生成这段文字的时候,文字部分只能看到前面已经生成的文字和那组查询向量,不能直接看到原始的视觉语言输入。

这个限制听起来有点绕,但背后的用意很清楚。如果让文字生成直接看到原始画面,那这组查询向量就成了摆设,模型完全可以绕过它直接从画面抄答案。强行切断这条捷径,逼着所有关于当前场景的信息必须先经过查询向量这个"中转站",才能影响到最终生成的文字内容。

这就好比考试的时候,老师不允许你翻书抄答案,只能靠自己整理过的笔记来答题。如果允许直接翻书,那你笔记记得好不好根本不重要,反正可以作弊。正是因为切断了捷径,你才被迫把知识真正内化进笔记里。模型里的查询向量就是这份"笔记",必须足够扎实才能支撑后续的文字生成任务。如果没有这个限制,查询向量很可能学成一堆空洞的向量,起不到任何实际的信息压缩作用。

三条路径合在一起,相当于从三个不同维度逼着这组查询向量既要懂任务语义(来自文字监督),又要懂具体的状态变量(来自结构化槛监督),还要懂视觉运动细节(来自光流监督)。三者缺一个,信息都会不完整。

但这里有个关键设计需要特别说明,这三条监督路径只在预训练阶段使用,到了具体任务的微调阶段,模型只用普通的动作学习目标去训练,不再需要额外标注这些物理转变信息。部署上线跑任务的时候,模型直接从当前观察生成动作,不需要先生成那段差异文本再倒推动作,也不需要先想象未来画面。

这个设计避免了一个常见的坑,如果每次推理都要先生成一段文字描述或者一张未来画面,那机器人反应速度就会被拖慢,实时控制根本做不到。VLA-Δ把这些"思考"过程压缩进预训练阶段学到的查询表示里,推理时直接复用这份表示,不需要重新生成。

数据从哪来

说到这里你可能会问,这些物理状态变化的标注信息,到底是怎么获得的?总不能全靠人工一帧一帧标注吧,那成本太高了。

论文团队搭建了一套自动化数据标注流水线,处理了来自DROID、MolmoAct、RH20T三个数据源的机器人演示数据,总规模约484小时、2400万帧。

这套流水线先把所有数据统一转换成LeRobot v3这种标准轨迹格式,然后用一个叫Qwen3.8的大模型来识别演示视频里的操作阶段,比如靠近、对齐、抓取这些关键节点,挑出关键帧。接着再用这个大模型生成结构化的语义标签。

视觉层面的标注则交给了专门的视觉模型来完成。

SAM 3*:一种能够根据文字描述自动在图像里框出目标物体、生成分割掩码的视觉模型。

UniDepth V2*:一种单目深度估计模型,能从一张普通照片推算出画面里每个物体距离摄像头有多远。

MegaFlow*:一种零样本大位移光流估计模型,专门用来计算画面里物体运动轨迹的二维位移。

这三个视觉工具分别负责定位物体位置、估算深度信息、计算运动轨迹,三者结合起来才能把语义标签和具体的空间几何信息对齐,生成最终统一的物理状态转变标注。

光靠自动化流水线肯定会出错,所以论文还设置了多层质量把关。先用程序自动检查格式错误、时间错位、坐标无效这些明显问题,再用GPT-5.6这个模型对复杂或者存在冲突的样本逐项复核,最后还做了分层的人工抽样审核。论文里公布了一份审核统计表,抽样审核了300组当前-未来状态对,九类结构化标签的有效标注比例大多在93%到99%之间,文字描述的四个方面有效比例也在96%到99%之间。

这意味着这套自动化流水线产出的标注质量相当可靠,不是粗糙的伪标签,这也是整个方法能够生效的基础前提。如果标注质量太差,后面无论用多精巧的模型结构去学习,学到的也只是噪音。

实验结果说了什么

光说设计思路漂亮没用,得看实际效果。

论文在三个场景下做了验证,仿真测试LIBERO、仿真测试RoboTwin 2.0,还有真实机械臂上的实测。

在LIBERO这个常用的仿真基准上,VLA-Δ拿到了98.4%的平均成功率,在所有对比方法里排名第一。这个基准包含四个子任务集合,分别考察空间理解、物体识别、目标状态达成、长时序执行能力,VLA-Δ在除了Long这个子集之外的三个子集都拿到了最高分,Long子集上和当前最强方法ZR-0并列第一。

更值得关注的是在LIBERO-Plus上的测试,这个基准专门考察模型在环境发生各种扰动时还能不能正常工作,包括语言表述变化、光照变化、背景变化、布局变化四种扰动类型。

在语言扰动这一项上,VLA-Δ拿到89.0%的成绩,比π0.5的82.6%高出6.4个百分点。这个差距说明什么?

说明当语言指令的表述方式发生变化时,模型如果真的理解了任务背后的物理逻辑,就不会轻易被措辞上的小改动带偏。反过来,如果模型只是记住了特定句式和特定动作的对应关系,换个说法它就懵了。这正好验证了论文最初的担忧,过度依赖观察动作配对会导致模型抗干扰能力弱。

在RoboTwin 2.0这个双臂机器人操作基准上,VLA-Δ在Clean和Random两种设置下分别拿到90.06%和89.74%的平均成功率,都是所有对比方法里最高的,比第二名ZR-0分别高出1.36和1.76个百分点。

这里还有一个细节值得拎出来说。从Clean设置切换到Random设置(也就是场景出现各种随机扰动的情况),VLA-Δ的成绩只下降了0.32个百分点,而ZR-0下降了0.72个百分点,Motus这个对比方法下降了1.50个百分点。这个数字差异说明VLA-Δ对场景随机化的适应能力更强,不是靠死记硬背特定场景布局拿到的高分。

具体任务上,VLA-Δ在BlocksRankingSize(按大小排列积木)和HangingMug(挂杯子)这两个任务上拿到了最高成绩。前者要求反复抓取、搬运、放置,而且后续操作要根据之前放置的结果来调整空间关系。后者要求旋转、重新抓握、挂钩,整个过程涉及物体在桌面支撑、夹爪抓握、挂架支撑三种状态之间的切换。这两个任务恰好分别对应"渐进式空间调整"和"多阶段接触转变",正是VLA-Δ的监督机制特别用力的地方。

真实世界里表现怎么样

仿真环境再漂亮,终究隔着一层。论文团队在AgileX PiPER这台六自由度双臂机器人平台上做了真机实验,设计了五个任务,分别考察避障能力、长时序任务执行、精细操作、空间推理、环境变化下的泛化能力,每个任务跑40次独立测试,总共200次实验。

结果显示VLA-Δ的平均成功率达到68.0%,在所有对比方法里排名第一,比π0.5高出5.5个百分点。

在避障任务上,VLA-Δ拿到42.5%的成功率,也是最高的。这个任务要求机器人把胡萝卜放到架子上,同时不能碰到旁边的杯子。论文把这个结果和Future-State Difference Text里的"物体约束"这部分内容对上了号,因为这段文字描述里明确写了要避开哪些障碍物、要保持哪些物体间关系,这些信息直接影响到了模型在真实抓取时对碰撞风险的判断。

在空间推理和精细操作这两个任务上,VLA-Δ同样拿到最高分,这大概和结构化转变槽里专门记录空间位置的变量、以及光流监督提供的视觉细节有关。

拆开看每个部件的贡献

一个方法好不好,光看最终分数不够,得看每个组件到底贡献了多少。论文做了详细的消融实验。

从一个只用普通视觉语言特征的基线开始,平均成功率是95.70%。加入那组可学习的查询向量机制之后,提升到96.25%,说明压缩的查询表示本身就有帮助。单独加入未来状态差异文本监督,提升到97.20%,单独加入结构化转变槛监督,提升到96.90%,单独加入光流监督,提升到97.35%。

三者全部叠加,也就是完整版VLA-Δ,最终成绩是98.40%。

这个数字曲线说明一件事,三条监督路径不是互相替代的关系,而是互相补充。每一条单独加进去都有正向效果,但没有一条能顶替另外两条的作用,叠加起来效果最好。

论文还做了一个很细腻的可视化分析,把负责结构化转变槛的那组查询向量的隐藏状态提取出来,用t-SNE降维成二维图,看它们聚类的情况。没有结构化槛监督的时候,九个槛位对应的七组查询向量混在一起,边界模糊。加入监督之后,七组查询明显分成了更紧凑、边界更清晰的簇。

更有意思的是,即便后续在LIBERO上用纯动作监督去微调模型,这些查询向量依然保持着七个清晰可分的簇。这说明预训练阶段学到的语义分工结构,并没有在微调过程中被动作学习目标冲掉,它继续在后台支撑着模型对任务相关信息的组织方式。

这就像一个人在读研究生之前先经历了严格的本科专业训练,后来即便跨行从事别的工作,早年打下的那套系统性思考框架依然会在不知不觉中影响他处理新问题的方式。预训练阶段学到的结构不是昙花一现的,它成了后续学习的底座。

论文团队还做了注意力可视化,对比了带不带三种转变监督的模型,在"叠毛巾"和"挂马克杯"两个任务上,查询向量到底在图像上关注哪里。带监督的模型注意力明显集中在目标物体、夹爪、接触区域这些任务相关的地方,不带监督的模型注意力更分散,甚至会把注意力分配到背景这种和任务无关的区域上。

这个对比图直观地证明了一件事,显式的物理状态监督确实在塑造模型关注哪里这件事上起到了作用,它不是凑数据凑出来的分数提升,背后有实实在在的注意力机制变化支撑着。

写在后面

读完这篇论文,最让我多想一层的地方是那个"切断捷径"的设计。

论文里刻意限制未来状态差异文本的生成过程,不让它直接看到原始画面,必须先经过查询向量这个中转站。这个设计初看起来是个小细节,但往深里想,这其实是在人为制造一种信息瓶颈,逼着模型把有限的表达能力花在真正重要的东西上。

这让我联想到一件完全不相关的事情,写摘要训练。很多人写论文摘要习惯直接从正文里摘抄一两句话拼起来,这样写出来的摘要往往读起来生硬,因为它没有经过真正的消化。真正好的摘要是先把全文读懂、理解透,再凭着理解重新组织语言写出来的,这个过程本身会倒逼你发现自己哪里没真正弄懂。VLA-Δ里这个注意力限制起到的就是类似的强迫消化的作用。

论文里还有个让我意外的数据点,结构化转变和监督单独加入时提升幅度(96.45%到97.20%)其实不算特别夸张,但它在t-SNE可视化图里带来的聚类效果却非常明显。这说明有些设计的价值不完全体现在最终成绩的数字上,它可能体现在模型内部表示结构的组织方式上,这种结构性的改变短期看不出太大差异,但长期可能是模型能不能泛化到更复杂任务的关键。

这篇论文留下的一个开放问题是,这三条监督信号的权重是怎么确定的,论文里提到了几个加权系数但没有详细展开调参过程。如果三者权重失衡,比如光流监督权重过大,模型会不会反而学成一个只盯着像素运动、却忽略语义理解的"运动传感器"?这个边界在哪里,恐怕还需要更多实验去摸索。

机器人什么时候才能真正"看懂"自己手上正在发生的事,而不只是在复刻一套记好的动作?这篇论文往这个方向迈了一步,但显然这条路还很长。

Q&A

Q1:VLA-Δ是什么?

A:VLA-Δ是浙江大学OmniAI Group提出的一种机器人控制框架,它让机器人在预训练阶段显式学习当前状态和未来状态之间的物理变化,包括任务语义、空间位置、接触关系等,从而提升机器人在真实场景中执行动作的准确性和泛化能力。

Q2:VLA-Δ和之前的机器人控制方法有什么区别?

A:之前的方法比如推理式VLA只在语言层面做任务规划,世界动作模型靠预测未来画面来指导动作,这些方法都没有直接监督物理状态本身的转变。VLA-Δ用结构化转变槛、光流、未来状态差异文本三条路径联合监督物理状态变化,让模型真正理解场景里正在发生什么。

Q3:VLA-Δ在实际测试中表现怎么样?

A:VLA-Δ在LIBERO仿真基准上拿到98.4%的平均成功率,是对比方法中最高的,在RoboTwin 2.0基准上也拿到最高分。在真实机械臂实测中,平均成功率达到68.0%,比π0.5高出5.5个百分点,尤其在避障和精细操作任务上表现突出。

文章标签机器人

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。