你有没有想过,机器人手臂在完成一个倒水的动作时,它的大脑里到底在想什么?
现在主流的做法是,机器人每次会预测接下来几十个时间点上的具体动作,比如第1毫秒手在哪个位置,第2毫秒手在哪个位置,一直排到第50个点。这套做法有个专业名字。
**动作分块**:把未来一段时间的动作切成固定数量的采样点,像拍照一样一帧一帧记录下来,再交给机器人去执行。
这套方法用了很多年,大家也习惯了。但它藏着一个别扭的地方:相邻的两个时间点的动作其实特别像,手从A点挪到B点,中间的路径几乎是连续的,可模型却要为每一个采样点都单独花费"预测配额",就像你明明知道隔壁两张照片几乎一样,却还要把它们当成两份独立的信息存下来。这不是在浪费脑力吗?
更麻烦的是,这种切片方式把"预测多远的未来"和"每一步切多细"死死捆在一起。预算就那么多,想看得远,就只能切得粗;想切得细,就只能看得近。可现实里,机器人倒水这种动作前半段是平缓的转手腕,后半段却是对准杯口的精细操作,一套固定的切片粒度怎么可能两头都讨好?
这就是本文要讲的工作,来自复旦大学、香港中文大学等机构研究者提出的Vela,一个试图让机器人用"画曲线"而不是"打点"的方式思考动作的视觉语言动作基础模型。
**核心问题出在哪**
要理解Vela的价值,得先看看现在最强的机器人动作模型打分表现如何。论文里提到的π0.5模型,在一个叫LIBERO-X的模拟测试平台上,平均成功率是39.3%,而在EBench这个更贴近真实场景的双臂移动操作测试里,它的综合成功率是41.4%。这些数字不算差,但距离"好用"还有相当距离,尤其是在需要精细接触的任务上表现明显掉队,比如那种需要把零件精确插入孔洞的操作。
**视觉语言动作模型**:简称VLA,是一类把视觉感知、语言理解和动作输出打通的机器人大脑,它看一眼摄像头画面,听懂一句指令,就能输出应该怎么动手。
研究者们意识到,问题可能不在模型够不够大,而在于"动作"这个输出本身的表示方式出了问题。机器人的手不是凭空在一堆孤立的点之间跳跃的,它走的是一条连续的轨迹。既然如此,为什么不直接让模型去预测这条轨迹的形状,而不是去猜轨迹上一个个孤立的采样点?
这就像你要给朋友描述一条蜿蜒的山路。你可以把路上每隔十米拍一张照片,发给他一百张照片让他自己脑补路的走向;你也可以只画一条曲线草图,标出几个关键的拐点,告诉他"路就是这样弯的"。后者用更少的信息,表达了更完整的结构,而且朋友可以沿着这条曲线在任意位置插值,不需要你把每个点都拍下来。如果你坚持用照片方式,想要描述更长的山路,要么多拍照片,要么放弃清晰度每隔更远拍一张,这正是动作分块方法面临的两难。
**用样条曲线给动作画像**
Vela的解法是引入样条曲线。
**B样条曲线**:一种用少量控制点就能定义出一条光滑连续曲线的数学工具,调整控制点的位置,曲线的形状就跟着变,而且曲线在任意位置都可以被采样,不受原始控制点数量的限制。
具体来说,Vela不再预测一长串动作点,而是预测固定数量的12个控制点,外加一个表示这段动作要持续多久的标量,叫做"视界"。这12个控制点定义出一条连续曲线,之后不管你想用什么频率去执行这条曲线,哪怕你想用两倍的采样率去跑,都可以直接在曲线上取点,完全不需要重新预测。
这里最巧妙的设计是,固定的控制点数量和可变的视界长度被拆成了两个独立的变量。以前模型要在"看多远"和"切多细"之间二选一,现在Vela说,控制点的预算始终是12个不变,但这12个点要覆盖多长的时间跨度,交给模型自己根据动作的特点去判断。遇到平缓的伸手动作,12个点可以拉长覆盖更久的时间;遇到需要精细对准的接触动作,同样12个点可以收紧,只覆盖很短但变化剧烈的一段。
这就好比你用一支笔画画,画布大小是固定的,但画的到底是辽阔的草原全景还是一朵花的特写,笔触的疏密完全不同。如果强行规定每幅画都必须用同样的笔触密度覆盖同样大小的场景,画草原时笔触太疏会丢失细节,画花朵时笔触太密又显得浪费,这正是过去那些样条策略研究的局限,它们大多固定了曲线覆盖的时间跨度,所有动作都套用同一个折中方案。
**怎么知道该用多长的视界**
问题来了:训练的时候,怎么给每一段演示动作标注出"合适"的视界长度?这不是人工能一条条标的,数据量太大,得有个自动化的判断标准。
研究者设计了一套叫做**噪声感知的视界选择**的机制。
简单说,对于每一段演示动作,系统会尝试用候选的各种视界长度(从16到40不等)去拟合这段动作,看拟合完之后剩下的误差有多大。但这里有个陷阱:误差不可能是零,因为演示数据本身就带着人类操作或传感器记录留下的抖动和噪声,就算曲线完美贴合了动作的真实轨迹,残留的误差依然存在。
如果直接拿原始误差大小做判断,就会分不清这个误差到底是"曲线没拟合好"还是"数据本身就有噪声"。打个比方,你让一个学生临摹一幅画,画得再像,手抖导致的线条毛边总是存在的,你不能因为看到毛边就说他临摹得不准确,得先知道这位学生手抖的正常幅度是多少,超过这个幅度才算真的没临摹好。Vela就是先给每个数据源、每个动作维度估计出一个"正常抖动幅度"的参考值,再把拟合残差除以这个参考值做归一化,这样算出来的指标才能真正区分"动作太复杂曲线没学到"还是"这就是正常的操作噪声"。
选视界的规则很直接:在所有满足误差要求的候选里,挑最长的那个。这样smooth的动作就能占到更长的视界,复杂多变的动作就被压缩到更短的视界,固定的控制点预算因此被更合理地分配。
对于机械爪这种开合动作,因为它的状态变化是跳跃式的,不像连续坐标那样平滑,用除以噪声参考值的方式反而会出问题(分母趋近于零),所以这类通道被单独拿出来,用另一套基于归一化误差上限的简单规则处理。
**怎么训练出这套能力**
光有表示方法还不够,研究者还得解决如何把这套曲线学习方式扩展到大规模、多种机器人形态混合的数据上训练。
Vela的骨架沿用了π0.5架构,包含一个30亿参数的PaliGemma视觉语言主干和一个3亿参数的流匹配动作专家,没有额外增加参数量。
**流匹配**:一种生成模型的训练方式,模型学习如何把一个随机噪声逐步"流动"变形成目标输出,这里的目标就是前面说的控制点和视界组合。
模型预训练用了大约2万小时的公开机器人数据(覆盖60个数据集、11种不同的机器人形态)加上2万小时私有数据。为了让不同形态的机器人(有的是单臂,有的是双臂带轮子移动底盘)能共用同一套训练框架,研究者设计了一个26维的统一动作空间,每条手臂占10维(3维平移、6维旋转、1维夹爪),剩下6维分给头部、腰部和底盘的运动。缺失的维度用有效性掩码挡住,不参与计算。
这里还有一个细节值得一提,就是损失函数的设计选择。直接在控制点坐标空间上计算误差(论文叫CP-FM)是最直观的做法,但这样算出来的误差权重是"各向同性"的,没有考虑到不同控制点对最终解码出来的轨迹影响其实是不一样的。Vela采用了**解码轨迹流匹配**(DT-FM),先把控制点误差通过样条解码器映射回实际动作轨迹空间,再算误差。
这就像你在检查一份蓝图和检查实际盖出来的房子哪个更重要。蓝图上一个小小的尺寸误差,如果恰好在承重墙的位置,影响巨大;如果在装饰性线条上,几乎没影响。只盯着蓝图上的数字误差去打分,也就是CP-FM的做法,会把这两种情况一视同仁,而DT-FM相当于先把误差折算成"房子实际歪了多少",再来评判好坏,这显然更贴近真正关心的结果。不过论文的消融实验也显示,这个改进是锦上添花而非生死攸关,三种损失组合方案都能训练出有效的策略,DT-FM只是表现最好的那一个。
**实验说了什么**
在LIBERO-X这个五级难度递增的模拟测试上,Vela拿到了45.3%的平均成功率,比π0.5的39.3%高出6个百分点。更值得关注的是,难度越高,领先幅度越大:在最难的第五级,Vela领先π0.5整整9.1个百分点,说明这套方法在面对分布偏移更严重的场景时优势更明显,而不是只能在简单场景里刷分。
为了排除"是不是光靠π0.5这套基础架构就能拿到好成绩"的质疑,研究者还做了一个对照实验,叫π0.5-Vela:不经过Vela的大规模轨迹空间预训练,只是把Vela的轨迹表示方法用到π0.5原有的微调流程里。结果显示,仅仅换成轨迹表示,平均成功率也能从39.3%提升到42.0%。这说明轨迹表示这个思路本身就有效,而完整的Vela(加上大规模预训练)能进一步把分数推到45.3%,两者叠加产生了更大的收益。
在EBench这个覆盖桌面精细操作、移动抓取、长时序任务三大类共26个任务的测试里,Vela的综合成功率是49.7%,综合进度得分是66分,两项都是所有对比方法里最高的。其中提升最明显的是对精度要求最高的桌面精细操作类任务,这恰好印证了前面说的,动作表示方式的灵活性在接触密集的任务上价值最大。
下面这张表格摘录了部分关键对比数据:
| 方法 | LIBERO-X平均成功率 | EBench综合成功率 | EBench综合得分 |
|---|---|---|---|
| π0 | 15.0% | 33.7% | 47 |
| GR00T N1.5 | 23.6% | — | — |
| π0.5 | 39.3% | 41.4% | 54 |
| π0.5-Vela | 42.0% | 42.0% | 58 |
| **Vela** | **45.3%** | **49.7%** | **66** |
真实世界里的表现同样说明问题。研究者在一台带轮子的双臂机器人上测试了两个需要长时序、双手协作的任务:做蛋糕卷和切土豆丝。做蛋糕卷任务分为加面糊、加配料、抓锅、出锅装盘四个阶段,Vela的平均子任务成功率是67.5%,而π0.5只有37.5%,OpenWAM是40.0%。差距最大的环节出现在加配料这一步,Vela成功率达到80%,π0.5只有20%,相当于每5次尝试,π0.5就有4次失败,而Vela只有1次。切土豆丝任务里,Vela的平均成功率是87.5%,远超π0.5的62.5%和OpenWAM的65.0%,尤其在"接触并刨丝"这个需要持续物理接触的环节,Vela拿到80%,而π0.5只有40%。
这些真实机器人的数字之所以重要,是因为模拟环境再精细,也总有和真实物理世界脱节的地方。能在真实的锅碗瓢盆、真实的土豆和擦丝器上跑出明显优势,说明这套轨迹表示方法不是只在实验室数据集里讨巧,而是真的触及了接触密集操作的痛点。
**几个消融实验揭示的细节**
论文还做了三组对照实验,用来拆解Vela的收益到底从哪儿来。
第一组实验回答一个很自然的质疑:如果只是在模型预测完一串动作点之后,事后用样条曲线去拟合、重采样,是不是也能拿到类似的提升?研究者发现答案是否定的。事后拟合的方式在各种执行步数设置下都没能追上Vela的表现,这说明让模型在训练阶段就直接学习预测轨迹参数,和训练后硬套一层样条外壳,是两回事。前者模型真正理解了轨迹的结构,后者只是给原有的点状预测做了个平滑处理。
第二组实验单独验证"视界自适应"这个设计是否必要。研究者对比了固定视界长度和自适应视界长度两种方案,发现即便固定视界,Vela的曲线表示方式本身也比传统点状预测要好,但加上自适应视界后,每个难度级别的成绩都进一步提升。这说明两个创新点是互相独立又互相加成的关系,曲线表示解决了"相邻动作被重复编码"的浪费,自适应视界解决了"固定切分粒度顾此失彼"的矛盾。
第三组实验针对损失函数设计,前面提到过,DT-FM略优于CP-FM,但差距不大,说明这个选择是优化项而非决定项。
**写在后面**
读完这篇论文,让我最意外的一点是,这些研究者并没有去堆更大的模型或者更多的参数,Vela用的骨架和π0.5完全一样,没多加一个可训练参数,纯粹靠改变"动作应该怎么被表示"这一个环节,就撬动了全面的性能提升。这其实提示了一个经常被忽略的方向:很多时候卡住一个系统的不是算力也不是数据量,而是数据被编码的方式本身有没有贴合问题的物理本质。机器人的手臂运动天生是连续的,用离散采样点去逼近连续运动,就像用方块拼图去拼一个圆,拼图块再多,边缘也始终是锯齿状的,而样条曲线一开始就是圆的形状。
还有个细节我觉得值得单独说一下,就是论文里提到的那个"噪声感知"的视界选择机制。它本质上是在区分"数据里的随机抖动"和"数据没被充分建模的结构性变化",这其实是一个普遍存在于各种数据拟合问题里的老问题,到底要不要相信眼前这点误差,取决于你对噪声水平有没有一个靠谱的估计。这让我联想到统计学里经常讨论的过拟合和欠拟合边界问题,Vela相当于把这套古老的统计直觉,用一种工程化、可以批量自动处理的方式嫁接到了机器人动作建模上。
论文自己也坦承了几处没做完的事。比如现在控制点数量是固定的12个,只有视界长度在自适应,如果连控制点数量也能根据动作复杂度动态调整,会不会进一步提升表现?这需要支持变长预测的新训练目标,目前还是空白。另外整个研究用的还是π0.5规模的模型,更大的视觉语言主干、更大的动作专家网络会带来多大的增量,论文里也没有给出答案。
如果有一天机器人真的能像人一样,凭直觉就知道一个动作该画多长的弧线、哪里该收紧哪里该放松,那会是从"记住每一帧该怎么做"到"理解运动本身是什么"的一次跨越。这篇论文或许只是这条路上一小步,但这一步踩得挺扎实。
Q&A
Q1:Vela是什么?
A:Vela是复旦大学、香港中文大学等机构提出的视觉语言动作基础模型,它用样条曲线和可自适应的时间跨度来表示机器人未来的动作轨迹,而不是像传统方法那样预测固定网格上的一串动作点。
Q2:Vela相比传统方法有什么优势?
A:Vela在LIBERO-X模拟测试上平均成功率达到45.3%,比π0.5的39.3%高出6个百分点;在EBench测试上综合成功率49.7%,也高于π0.5的41.4%。真实机器人实验中,做蛋糕卷任务平均成功率67.5%,远超π0.5的37.5%,尤其在接触密集的操作环节优势明显。
Q3:Vela的核心创新是什么?
A:核心是两点,一是用固定数量的样条控制点加一个可变的时间跨度来表示动作轨迹,让同样的预测预算能灵活覆盖长而平滑或短而精细的动作;二是提出噪声感知的视界选择机制,为每段演示动作自动挑选合适的时间跨度,区分真实运动复杂度和数据本身的噪声。







