Token导航 LogoToken导航

AI 资讯 · 科技行者

机器人走走停停卡在VLA模型思考

更新 2026-11-02科技行者正文 6005字阅读约 19分钟

你有没有观察过机器人干活的样子?

如果你见过那种会拿东西、会摆盘子的机械臂,你可能会发现一件有点滑稽的事:它不是流畅地一气呵成,而是走走停停。动一下,停一下,再动一下,再停一下。像是一个人走路走到一半突然卡壳,愣几秒才接着走。

这不是机器人演技差,是真的卡住了。

卡在哪儿?卡在"思考"上。现在的机器人大脑,学名叫**视觉-语言-动作模型**

**VLA模型*:Vision-Language-Action Model的缩写,是一种能同时理解图像、语言指令,并直接输出机器人动作的AI模型,相当于给机器人装了一个能看会听还能动手的大脑

这类模型通常体积巨大,相当于把一个识图的AI和一个说话的AI捏在一起,再加一个管动作的模块。模型越大,算得越准,但也越慢。机械臂做完手头的动作后,经常要傻等上零点几秒,才能等到大脑算出下一步该干嘛。这零点几秒看起来不长,但一个任务做下来要调用几十次大脑,零点几秒乘以几十次,攒起来就是实打实的几秒钟空转。任务完成得慢不说,这种一卡一卡的运动对精密操作也不是好事,毕竟谁都不希望端菜的机械臂走到一半突然僵住。

工程师们想了个直接的办法:既然每次"思考"都要停顿,那就让机器人一次多想几步,少想几次不就行了?

这就是**动作分块**

**动作分块*:Action Chunking,指机器人的AI大脑一次性预测出未来一串连续动作,而不是算一步走一步,从而减少频繁调用大脑的次数

听起来很合理,对吧?本来每走一步都要问一次大脑"下一步干嘛",现在变成一次性问清楚"接下来十步怎么走",省去了中间九次的等待。

但这里就出现了一件很反直觉的事:动作预测得越长,机器人反而越容易出错,而且这个错误不是均匀分布的,它集中爆发在某些特定的时刻。

这篇来自KAIST、POSTECH等机构研究者的论文发现了这个现象背后的真相,并提出了一个叫**RACE**的方法来解决它。RACE全称是Reliable Action-Chunk Extension,直译过来是"可靠的动作分块扩展"。这篇论文有意思的地方在于,它没有停留在"分块扩展会出错"这个表层现象,而是追问了一句:错误到底出在哪一步?

答案出乎意料地清晰:出在动作切换的那一刻。

一步错,步步错:问题到底卡在哪

先说说研究者是怎么发现问题的。

机器人完成一个任务,比如把玩具放进礼品盒,其实不是一个连贯的单一动作,而是由好几个子动作拼起来的。先靠近物体,再对准角度,然后下降,接着抓取,最后提起来搬走。这几个阶段,论文里管它叫**子技能**

**子技能*:Subskill,指一个完整的操作任务被拆解后,其中功能相对独立的一个子阶段,比如"靠近""抓取""提起"分别算一个子技能

人类在做这类精细动作的时候,演示数据里其实没有标注"这是第一步,这是第二步",但研究者用了一种叫**PELT**的算法,自动从动作信号里找出这些阶段之间的分界点。

**PELT算法*:Pruned Exact Linear Time,一种变点检测算法,能在动作数据的时间序列里自动找出"行为性质发生突变"的那个时刻,不需要人工标注

研究团队把这套方法用在VLABench的演示数据上,结果发现,一段167步左右的演示,平均会出现3.57个这样的转折点。有的任务转折多,比如"添加调味料"平均有5.59个转折,有的任务转折少,比如"挑选水果"只有2.19个。

找到这些转折点之后,研究者做了一件关键的事:把机器人预测出来的动作和真实演示动作逐步对比,看误差分布在哪里。

结果让人吃惊。误差不是随着预测步数增加而均匀变大,而是在转折点附近突然飙升,像心电图里突然冒出的一个尖峰。而且这个尖峰会随着动作分块长度的增加而越长越高。当机器人一次预测10步时,转折点的误差还算温和;但当预测步数拉到20步时,转折点处的误差几乎是周围误差的两三倍。

这说明了一件事:机器人并不是对"未来"本身感到模糊,而是特别不擅长判断"什么时候该换动作"。

这里有个生活化的类比能帮你体会这种困境。想象你在开长途车,导航提前告诉你"5公里后右转"。如果导航只提前50米提醒你转弯,你几乎不会出错,因为那个判断窗口很短,路况信息也很新鲜。但如果导航在5公里之外就让你记住"在某个点右转",你一路开过去,路边树木、建筑、车流信息不断变化,你凭记忆猜测那个转弯点到底在哪,稍微判断错个几十米,车就开过了。如果不提前规划好转弯点的提示方式,仅靠记忆硬扛,你大概率会在最该转弯的那一刻犹豫、刹车,甚至直接错过路口。

机器人面临的正是这个问题。动作分块越长,意味着它要在越早的时刻就"记住"未来某个子技能切换的时间点,而这段记忆没有中途的观察反馈去校正,误差自然在那个关键节点集中爆发。

转折点,才是真正的难点

搞清楚了问题出在"什么时候切换子技能",研究者的解法思路也就顺理成章了:既然机器人不擅长判断转折时机,那就专门训练它去预测转折时机,并且让这个预测结果直接参与到动作生成的每一步里。

这就是RACE的核心设计,拆开来看其实是两件事。

第一件事,教模型预测"转折时机"

RACE会先让动作生成模块跑一次简化版的推理,只走一步,不是完整的多步去噪过程,这个简化版推理的输出会被送进一个专门的预测头,结合视觉语言模型缓存的特征,一起估算出当前这个动作序列里,每一步距离转折点有多近。

这里要插入一个概念。VLA模型生成动作的方式,用的是**流匹配**

**流匹配*:Flow Matching,一种生成模型技术,通过多步迭代,把一个随机噪声逐渐"变形"成目标输出,这里的目标输出就是一串机器人动作

流匹配通常需要走十步左右的迭代才能把噪声彻底雕刻成一组可执行的动作。RACE在正式的十步迭代开始之前,额外插了一次"预演",用这次预演的中间结果去预判接下来哪个位置可能是转折点。

这个预判结果,论文里叫**转折时机先验**

**转折时机先验*:Transition-timing Prior,模型对未来动作序列中哪些位置属于子技能切换点的一个概率打分,分数越高代表那个位置越像是转折时刻

第二件事,让这个预判结果真正影响动作生成

光预测出"大概在第几步会转折"还不够,必须让这个信息实实在在地改变后续每一步的动作雕刻过程。RACE的做法是把这个转折打分注入到动作生成网络内部的归一化层里,通过一种叫**自适应调制**的机制。

**自适应调制*:Adaptive Modulation,一种神经网络技术,根据外部输入的条件信息,动态调整网络内部计算的缩放和偏移参数,相当于给网络的每一层加一个可以被外部信息拉扯的"旋钮"

具体来说,转折打分会被映射成一组偏移量,叠加到动作生成网络原本的参数上,但这个叠加的强度不是固定的,而是由一组可学习的**门控参数**

**门控参数*:Gate,这里特指RACE中每个去噪步骤对应的一个可训练系数,用来控制转折先验信息在这一步该被采纳多少,类似于一个可调节音量的旋钮

训练完成后,这组门控参数自己学出了一个规律:越靠前的去噪步骤,门控值越大,意味着转折信息在早期介入得更猛烈,到了后期逐渐减弱。这其实很符合直觉,早期的去噪步骤决定了动作的大致走向,这时候把"转折在哪"这个信息灌进去效果最好,等到后期动作已经基本成型,再强行干预反而容易帮倒忙。

这里可以用另一个类比来理解这种"早强晚弱"的信息注入策略。想象你在帮一个新手厨师写菜谱,你知道他做菜中途会有一个关键的翻炒时机容易出错。如果你在他刚开始备菜的阶段就反复提醒他"等会儿第几分钟要翻炒",他会把这个节点牢牢记在脑子里,提前做好心理准备;但如果等他已经快炒好了、快出锅了,你才在旁边喊"记得翻炒",这时候提醒的价值已经大打折扣,甚至可能打断他正常的收尾节奏。如果不按这种早期强提醒、后期弱干预的方式设计,而是让提醒力度全程恒定,实验数据证实了效果会变差,论文里专门做了消融实验,把门控参数固定为恒定值1之后,平均成功率从33.0%掉到了30.7%。

说到实验验证,RACE的效果到底好在哪,得拿数字说话。

数据不会说谎:RACE到底强在哪

研究团队把RACE放在三个主流的机器人操作测试平台上检验,分别是**VLABench**

**VLABench*:一个基于MuJoCo物理引擎的长程语言条件机器人操作测试基准,包含十种任务,每种任务有500条脚本生成的演示数据,还设置了五种不同难度的测试赛道来检验模型的泛化能力

还有**RoboCasa-H50**和**LIBERO**

**RoboCasa-H50*:一个模拟厨房环境的机器人操作基准,包含25个厨房任务,每个任务有50条真人遥操作演示数据

**LIBERO*:一个经典的机器人终身学习基准,分为四个任务套件,分别测试空间泛化、物体泛化、目标泛化和长程任务能力

这篇论文选用的基础模型是**π0.5**

**π0.5*:由Physical Intelligence团队开发的一款视觉-语言-动作模型,具备开放世界泛化能力,是当前机器人操作领域的代表性模型之一

在VLABench上,当机器人一次执行5个动作(也就是原始π0.5的默认设置)时,RACE的平均成功率达到30.5%,比原版π0.5的24.6%高出近6个百分点。更关键的是在分块拉长之后的表现:当执行长度拉到10个动作时,RACE达到34.4%的成功率,比同等长度下单纯微调的π0.5(32.2%)还要高;拉到20个动作,也就是默认长度的4倍时,RACE依然保持33.0%的成功率,仍然超过原始π0.5的24.6%,而且这个20步长度下,机器人调用大脑的次数大幅减少,推理速度提升了3.68倍。

在RoboCasa-H50上也是类似的规律,20步执行长度下RACE达到64.0%的平均成功率,比同长度的微调版本(60.8%)高出3.2个百分点,速度提升3.77倍。

更有说服力的是和同期其他方法的对比。论文里还测试了一种叫**自适应分块**的方法。

**自适应分块*:Adaptive Chunking,一类方法的统称,它们不固定执行多长的动作块,而是根据某种信号动态判断"这个块里哪些动作可信,执行到哪一步该停下来重新规划",比如AutoHorizon和PACE

这类方法的逻辑和RACE有点像,都是在和"什么时候该收手"较劲,但RACE在大多数场景下成功率和速度都更占优。另外还有一个叫**ACoT-VLA**的近期顶尖模型。

**ACoT-VLA*:Action Chain-of-Thought for VLA,一种通过显式的"动作思维链"推理来提升VLA模型表现的方法,发表于CVPR 2026

ACoT-VLA在成功率上能打平或略超RACE,但它的代价是要多跑一次完整的十步去噪过程来生成粗略的参考轨迹,推理延迟比π0.5基线高出43%,而RACE只增加了约4%的延迟。这个对比很说明问题:RACE用极小的额外计算量,换来了接近甚至超过重型方案的效果。

论文还专门测了真实机械臂上的表现,用的是AgileX PiPER机械臂做抓取放置任务。在真机实验里,固定5步分块的微调模型成功率只有36%,空闲等待时间平均2.11秒;换成20步分块后,微调模型成功率提升到48%,空闲时间骤降到0.40秒;而RACE在同样20步分块下,成功率进一步冲到66%,空闲时间0.41秒。也就是说,长分块把等待时间砍掉了约5倍,而RACE又在此基础上把成功率再往上拉了18个百分点。

那这个转折时机预测到底准不准?论文做了专门的量化分析,在训练数据上,判断某个动作块里是否包含转折点的准确率能到86%到87.1%,但到了没见过的新演示数据上,这个数字会掉到77%到79.6%,而且块越长掉得越多。这说明RACE的转折预测并不完美,它会漏掉一部分真实的转折点,尤其是在没见过的数据和更长的预测窗口里。但即便预测不完美,论文也验证了一件事:哪怕把这个预测强行替换成全零(相当于不给任何转折提示),成功率也会从33.0%掉到31.8%,说明这个不完美的先验信息依然在实实在在地发挥作用,而不是摆设。

写在后面

读完这篇论文,最让我意外的不是RACE这个方法本身设计得多巧妙,而是那个起点,误差为什么偏偏集中在转折点上。

这其实是一个很容易被忽略的洞察。做机器人动作预测的人,直觉上会觉得"预测得越远,误差应该越均匀地累积",这是开环控制里最朴素的假设。但这篇论文用实打实的数据打破了这个假设,误差不是均匀累积的,它有具体的爆发点,而这些爆发点恰好对应着人类理解里"这个动作该换挡了"的那一刻。

这让我想起一个不太相关但感觉上有点呼应的现象:人在做复杂动作切换的时候,比如从走路突然变成跑步,身体最容易出岔子的瞬间也恰恰是步态切换的那一刻,而不是匀速跑动或匀速行走的过程中。机器人的"动力学转折困难"和人类运动控制里的"步态转换脆弱性",隔着完全不同的领域,却指向了某种相似的结构性规律:系统在"稳态延续"时是稳健的,在"状态切换"时是脆弱的。

论文里还有一个细节我觉得值得单独拎出来说。研究者测试了把预测出来的转折时机故意往前或往后挪一两步,结果发现机械臂实际生成的夹爪开合动作,也跟着朝同一个方向挪动,挪动幅度大概是人为偏移量的四分之一左右。这说明模型真的在"听从"这个转折信号去调整行为,而不是把它当成一个无关紧要的装饰性输入。这个验证做得挺扎实,它排除了一种可能性,就是RACE的提升其实只是因为模型参数变多了、训练数据被间接地多利用了一遍,而转折信号本身没有起到因果作用。

这篇论文没有解决的问题也很诚实地摆在那儿:当分块长度拉到40步,也就是基线长度的8倍时,RACE的成功率已经掉到基线以下了。这说明转折时机只是长分块失效的其中一个原因,不是全部原因。开环执行本身的漂移误差,这篇论文并没有彻底解决,它只是把"转折点额外增加的那部分误差"给压下去了。

那剩下那部分误差,到底能不能被压下去,又该怎么压,这是留给后来者的问题。

Q&A

Q1:RACE是什么?

A:RACE全称Reliable Action-Chunk Extension,是一种让视觉-语言-动作模型能够可靠执行更长动作序列的方法,通过预测子技能转折时机并将其注入动作生成过程,减少长动作序列执行时在转折点处的误差。

Q2:RACE相比直接微调原模型有什么优势?

A:在相同动作执行长度下,RACE的成功率普遍高于简单微调的模型,比如在VLABench上20步长度时RACE成功率33.0%高于微调的28.1%,同时额外增加的推理延迟只有约4%,远低于同类顶尖方法ACoT-VLA的43%。

Q3:为什么机器人动作分块加长后容易出错?

A:研究发现误差并非均匀累积,而是集中在机器人切换子技能(比如从靠近物体切换到抓取)的转折点附近,分块越长,模型需要提前越久预判这个转折时机,难度越大,误差也越明显。

文章标签机器人

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。