Token导航 LogoToken导航

AI 资讯 · 科技行者

机器人从理解指令到执行动作的翻译难题

更新 2026-11-20科技行者正文 7501字阅读约 24分钟

你有没有想过,一个机器人在接到"把杯子放到桌上"这句指令后,脑子里到底发生了什么?

它要先看懂眼前的画面:桌子在哪,杯子在哪,手在哪。然后它要理解这句话的意思。最后,它要把这些理解变成一串具体的数字,告诉机械臂的每个关节该转多少度,夹爪该夹多紧。这整个过程,看起来是一气呵成的,但其实中间藏着一道很深的裂缝。

这道裂缝就是这篇论文要解决的问题。

**为什么"看懂"和"做对"之间有一道裂缝**

现在主流的机器人控制模型叫VLA。

VLA(Vision-Language-Action模型):一种把摄像头画面和语言指令直接映射成机器人连续动作的模型,简单说就是"看图说话再动手"的一体化系统。

这类模型的训练方式通常很简单粗暴:给它看大量的人类示范,告诉它"这个场景、这句话,对应这个动作",然后用一个损失函数去逼近正确答案。整个过程中,模型内部怎么从"理解画面和语言"过渡到"生成动作序列",没人管,全靠模型自己在训练中摸索出来。

这就好比教一个新员工做菜,你只给他看菜谱的文字和成品照片,从不告诉他切菜的手法、下锅的时机、翻炒的力道该怎么从"看懂菜谱"过渡到"真的下厨"。他最终能不能做出来,全凭自己瞎摸索,摸索得好算运气好,摸索不好,这道裂缝就一直卡在那里,导致他看懂了菜谱却做不出像样的菜。如果不给他任何中间的指导,他就只能靠反复试错去拼凑出"看懂"和"做对"之间的桥梁,这往往意味着更多的失败和更慢的学习曲线。

论文把这道裂缝起名叫"感知-动作表征鸿沟"。视觉语言空间描述的是"世界现在是什么样,任务要求是什么",动作空间描述的是"手该怎么动,按什么顺序动"。这两种语义天差地别,而现有模型只靠最终的动作预测损失去弥合它们,中间的转换过程完全是黑箱。

已经有一些工作尝试把这个转换过程显性化,比如用视觉轨迹、物体可操作性提示、视觉推理链条等方式给模型一些中间线索。这些尝试证明了一件事:把控制相关的结构暴露出来,确实有助于动作生成。但论文的作者们想得更进一步,他们提出一个问题:能不能直接从示范数据的两端,也就是"任务是什么"和"动作怎么做"这两个已有的信息源,学出那个缺失的中间表示?

**PAIR的核心思路:让专家动作来"调教"感知特征**

论文提出的方法叫PAIR。

PAIR(Perception-Action Intermediate Representation):一种专门学习感知与动作之间桥接表示的框架,目标是在视觉语言理解和动作生成之间架起一座明确的桥。

PAIR的设计分成两条线,一条从动作这一侧出发,一条从感知这一侧出发,最后把两条线拧在一起。

动作这一侧,论文用了一个叫Masked Action Autoencoder的组件。

Masked Action Autoencoder(掩码动作自编码器):一种专门用来压缩和还原专家动作序列的编码解码结构,通过"遮住一部分动作再让模型猜回来"的方式,强迫模型学到动作之间的时间依赖关系。

具体做法是这样的:拿一段专家录制的动作轨迹,随机遮住一些时间步,再加一点高斯噪声进去搞乱它,然后让编码器把这段被破坏的轨迹压缩成一串叫Action Latent Tokens的隐藏向量,再让解码器尝试把干净的原始轨迹还原出来。

Action Latent Tokens(动作潜在标记):由自编码器从专家动作中提炼出的隐藏向量序列,每个时间步对应一个,承载着动作的时序结构和控制含义。

这个设计的巧妙之处在于"遮挡"和"加噪"这两个操作。如果不遮挡任何动作步骤,编码器完全可以偷懒,直接把每个时间点的动作值原样复制一遍就能完成还原,这样学出来的隐藏向量根本不包含任何"动作之间怎么衔接"的信息。就像考试如果允许直接抄答案,学生就永远学不会推导过程。遮挡逼着模型必须靠上下文去猜被挡住的部分,这个"猜"的能力恰恰就是动作时序结构的体现。加噪声则进一步逼着模型别去死记硬背某个具体数值,而是去抓取更稳健的动作模式。

感知这一侧,论文设计了一个叫Bridge Module的组件。

Bridge Module(桥接模块):从视觉语言表示中提取与当前动作任务最相关信息的模块,用一组可学习的查询向量从密集的场景语言信息里"捞出"真正要用的那部分。

这个模块的工作方式有点像面试官手里拿着几道标准问题,去跟候选人聊天。它准备了固定数量的"学习型查询"(Learnable Queries),通过交叉注意力机制去跟视觉语言的信息做互动,把其中真正跟接下来要执行的动作相关的内容提取出来,再通过自注意力把这些提取结果在时间顺序上协调一致,最终形成一串叫Bridge Tokens的紧凑表示。

Bridge Tokens(桥接标记):由桥接模块从当前画面和指令中提炼出的、与动作时间步对齐的紧凑特征序列,同时承载任务语义和动作结构信息。

现在关键的一步来了:怎么让Bridge Tokens既保留任务信息,又带上动作的执行结构?论文的做法是直接把Bridge Tokens和刚才提到的Action Latent Tokens做对齐,用一个余弦相似度损失,逼着两边对应的时间步在向量空间里靠得更近。

这个对齐操作就像给两个各自说着不同方言的人找了个翻译。感知这一侧说的是"场景里有什么,任务要干什么"的方言,动作这一侧说的是"手该往哪个方向移动多少"的方言。如果没有这个对齐步骤,这两套表示永远是两张互不相通的地图,模型只能靠最后的动作损失硬生生地把两边拉到一起,效果自然打折扣。论文的消融实验也证实了这一点:去掉对齐损失后,LIBERO上的平均成功率从98.4%掉到97.2%,少了超过一个百分点,这还只是在相对简单的基准测试上的差距。

**早期注入:把半成品直接塞进生产线的起点**

光有Bridge Tokens还不够,关键是怎么用它。

论文的做法叫Bridge Injection,简单说就是把Bridge Tokens投影到动作标记(Action Tokens)所在的空间,然后在动作专家模型(Action Expert)处理动作标记的最开始那一步,就把这些信息注入进去。

Action Expert(动作专家):VLA模型中专门负责把前置的各种特征逐层加工、最终解码成连续控制指令的子网络模块,通常是一个多层Transformer结构。

这里有个很细致的设计,叫自适应门控(Adaptive Gate)。注入的强度不是固定不变的,而是由一个小网络根据当前输入动态算出来的权重,再经过tanh函数限制在一定范围内,这样可以控制Bridge Tokens到底在多大程度上影响最终的动作标记。

想象一下工厂流水线,一般流程是毛坯件从头开始经过每一道工序慢慢变成成品。PAIR做的事情相当于在流水线的起点,直接塞进去一个已经做了部分预加工的半成品,这个半成品带着"这个零件最终大概要长什么样"的信息。如果不在起点注入,而是在流水线中间或者末端才插入这个半成品,工人们可能已经按照原来的毛坯件走了好几道工序,中间插入反而容易打乱已经形成的加工节奏。论文确实做了这个对比实验:把注入位置从起点挪到中间、末端,或者干脆每一层都注入,结果都比放在起点差,起点注入的平均成功率是98.4%,末端注入掉到97.4%,全层注入是97.6%。这说明"早一点给出方向"比"反复提醒"更管用,这跟我们做事情时常说的"磨刀不误砍柴工"倒是有点像,一开始把方向定准,后面的精细加工才能顺着这个方向走,而不是边走边改方向。

训练完成之后,到了真正部署的推理阶段,那个负责生成Action Latent Tokens的自编码器就被完全扔掉了,只留下Bridge Module根据当前的画面和指令实时生成Bridge Tokens。这个设计也挺聪明:自编码器只是训练时候的"教练",用来把专家动作的结构"刻"进Bridge Module里,一旦Bridge Module学会了怎么从感知信息里提炼出带动作结构的特征,教练就可以退场了,毕竟实际执行任务的时候根本没有专家动作可以参考。

**实验结果:从标准测试到真实机械臂**

论文在三个仿真基准和七个真实世界任务上验证了PAIR,搭配的基座模型是OpenVLA-OFT和VLA-Adapter这两个现有的VLA模型。

LIBERO(Liu et al., 2023):一个评估任务条件下机器人操作能力的基准测试,包含空间关系、物体种类、任务目标、长序列动作四个子集。

在LIBERO上,PAIR把VLA-Adapter的平均成功率从97.3%提升到98.4%,四个子集全部都有提升,其中长序列动作(Long)子集提升了1.2个百分点,这个子集专门考验模型执行更长动作序列的能力,提升幅度在这里出现并不意外,因为更长的动作序列对"动作结构能不能提前被感知到"这件事更敏感。

LIBERO-Plus(Fei et al., 2026):在LIBERO训练好的模型基础上,零样本评估模型在摄像头视角变化、机器人初始状态变化、指令改写、光照变化、背景变化、传感器噪声、物体布局变化这七种分布外情况下的表现。

这个测试其实更能看出一个方法是不是"真的学到了东西"还是"死记硬背了训练环境"。结果显示,PAIR把VLA-Adapter的总体成功率从59.1%提升到64.2%,提升超过5个百分点,其中视角变化和初始状态变化这两项提升最明显,分别提升了8.1和7.8个百分点。更值得注意的是,从LIBERO到LIBERO-Plus的性能下滑幅度,原始VLA-Adapter是掉38.2个百分点,加了PAIR之后只掉34.2个百分点,说明PAIR确实让模型在面对没见过的情况时更稳一些。

CALVIN ABC→D(Mees et al., 2022):一个专门测试长序列、语言条件下机器人连续完成多个任务能力的基准,模型在A、B、C三个环境里训练,到完全没见过的D环境里测试,每次要连续完成五个任务。

在这个长序列任务上,PAIR把VLA-Adapter的平均完成任务链长度从4.42提升到4.53,把OpenVLA-OFT从4.28提升到4.40。有意思的是,如果只看完成第一个任务的成功率,两个模型的提升都很小,只有0.7和0.1个百分点,但看完成全部五个任务的成功率,提升幅度就扩大到3.9和3.7个百分点。这说明PAIR带来的好处不是让模型"第一步走得更准",而是让模型在"连续走很多步而不摔倒"这件事上更可靠,这跟论文反复强调的"动作结构提前可读"是对得上的。

论文还做了七个真实世界任务的实验,用的是一台UFACTORY UF850机械臂,任务包括把物体放进指定碗里、按顺序按三个按钮、把指定方块放进杯子、叠杯子、擦白板、倒水、开抽屉放碗。每个任务都用VR遥操作收集了30到51条示范轨迹。结果是PAIR把OpenVLA-OFT的总体成功率从51.4%提升到65.0%,提升了13.6个百分点,其中倒水任务提升最大,达到20个百分点。

下面这张表格汇总了几个最核心的实验数据:

| 基准测试 | 基座模型 | 原始表现 | 加PAIR后 |

|---|---|---|---|

| LIBERO(平均成功率) | VLA-Adapter | 97.3% | **98.4%** |

| LIBERO-Plus(总体成功率) | VLA-Adapter | 59.1% | **64.2%** |

| CALVIN(平均完成序列长度) | VLA-Adapter | 4.42 | **4.53** |

| CALVIN(平均完成序列长度) | OpenVLA-OFT | 4.28 | **4.40** |

| 真实世界七任务(平均成功率) | OpenVLA-OFT | 51.4% | **65.0%** |

**用探针戳进模型内部:Bridge Tokens到底装了什么**

光看任务成功率还不够说明问题,论文还做了一组表示层面的分析,想搞清楚Bridge Tokens里到底藏着什么信息。

他们用了一种叫线性探针(Linear Probe)的分析手法。

线性探针:一种简单的分析工具,用一个线性分类器或回归器去尝试从某个中间表示里预测某个目标变量,如果预测得准,说明这个表示里确实包含了该目标相关的信息,反之则说明信息被模型"丢掉"或者"藏得很深"。

结果显示,Bridge Tokens能以87.8%的平衡准确率预测出当前任务是哪个任务,相比之下,只从动作信息训练出来的自编码器隐藏向量只能达到35.2%的任务识别准确率。这说明Bridge Tokens确实把任务语义给保留下来了,而纯粹的动作结构表示是"失明"的,它压根不知道任务是什么,只知道动作长什么样。

但更关键的发现在动作信息这一侧。论文测试了"动作信息到底在模型的哪一层才变得可读"。结果是,普通的Action Tokens要一层一层地往前走,经过24层Transformer之后,才能达到0.844的动作预测拟合优度(R?),而Bridge Tokens在还没进入任何一层Transformer之前,就已经达到0.878。

这个对比挺震撼的。普通模型的动作标记就像一个新手司机,得一路开过去,边开边摸索路况,到了终点才能说"我知道这条路怎么走了"。而装了Bridge Tokens的模型相当于一开始就给了司机一张提前标注好关键路口的地图,他不需要开到终点才明白路怎么走,出发前就已经有了大致的方向感。如果没有这个提前给出的方向感,模型就得在二十多层网络里反复试错式地去拼凑出动作结构,这不仅拉长了"理解"所需的计算路径,也让每一层网络的负担变得更重,相当于让新手司机独自摸索出整条路线,而不是提前给他一份路书。

论文还用了一种叫RSA的分析方法去检验Bridge Tokens是不是保留了动作之间的"相对关系"。

RSA(Representational Similarity Analysis,表征相似性分析):一种比较两个不同空间里样本之间相对距离关系是否一致的分析方法,如果两个表示空间里"相似的样本在另一个空间里也相似",说明这两个空间保留了共同的几何结构。

结果显示,Bridge Tokens和真实动作之间的RSA相关系数达到0.878,前10个最近邻的重合率达到80.4%,而把样本顺序打乱之后做对照,这两个数字分别只有0.014和21.6%。这说明Bridge Tokens不仅记住了"这是什么任务",还记住了"这个任务对应的动作在整体动作空间里处在什么位置,跟哪些动作相近,跟哪些动作差异大"。

**几个值得琢磨的消融实验**

论文还做了几个很细致的对照实验,值得单独说一说。

第一个是对齐目标的选择问题。论文测试了如果不用Action Latent Tokens作为对齐目标,而是直接拿原始的专家动作数值去对齐,效果会怎样。结果是直接对齐原始动作的平均成功率是97.1%,而对齐经过自编码器处理后的Action Latent Tokens能达到98.4%。这说明原始动作数值里包含了太多噪声和冗余细节,直接拿来对齐反而让Bridge Tokens学得没那么干净,经过自编码器压缩提纯之后的隐藏表示,才是更合适的对齐靶子。

第二个是自编码器训练时加噪声到底有没有用。论文对比了用干净数据训练自编码器和加噪声训练自编码器,结果加噪声训练能让最终平均成功率从97.6%提升到98.4%,每个子任务都有提升。这跟很多表示学习的经验是一致的:在训练阶段适度制造一些"干扰",反而能让模型学到更稳健、更抓本质的特征,而不是记住一些表面的、脆弱的细节。

第三个是注入强度要不要做成可学习的。论文对比了固定注入强度(1.0和0.5)跟自适应门控学出来的强度,结果自适应门控能达到98.4%,而两个固定强度分别是98.0%和98.1%。这说明不同场景、不同时间步需要的"信任度"是不一样的,有些时候Bridge Tokens提供的信息特别靠谱,该多听;有些时候原始的动作标记本身就足够好,该少掺和。固定强度没法区分这种差异,自适应门控能根据当下的情况动态调整。

**写在后面**

读完这篇论文,一个让我反复琢磨的地方是,PAIR其实没有去定义"中间表示应该是什么样子",它没有说这个桥接层代表的是物体的几何位置,或者代表某种可操作性,或者代表某种运动轨迹。它完全是让两边的数据自己去"商量"出一个共同语言。这跟很多之前的工作形成了有意思的对比,比如用视觉轨迹或者物体可操作性作为中间表示的方法,其实是研究者事先替模型决定了"你应该关注这个物理含义"。而PAIR选择的是一种更"谦虚"的做法,让任务语义和动作结构这两股数据自己去塑造桥接层该长成什么样子,这多少让我想到一些数据驱动和先验知识驱动之争在别的领域里也反复出现过的影子。

还有一个细节我觉得值得单独拎出来说。论文发现任务身份信息在普通的动作标记里"浮现"得特别快,第一层Transformer之后就已经达到97%的识别准确率,但动作结构信息却要一直攒到最后一层才完全成形。这意味着"知道要做什么"和"知道具体怎么做"在模型内部走的是两条完全不同的学习节奏,前者几乎是立刻就能从视觉语言信息里读出来的,后者却需要反复的层层加工才能沉淀出来。这个发现其实暗示了一件事,如果未来想进一步压缩VLA模型的层数来提速,也许可以考虑给"动作结构的形成"单独开辟一条更短的路径,而不是让它跟任务识别挤在同一条计算流水线上慢慢熬出来。

论文没有解决的问题也不少,比如Bridge Tokens的数量目前是跟动作时间步的数量绑定的,固定成8个,如果动作序列变得更长或者更短,这个绑定关系会不会变得僵硬,目前还没看到讨论。另外论文的真实世界实验用的是针对每个任务单独训练一个策略,如果要做跨任务的通用策略,Bridge Tokens能不能继续保持这种"桥接"效果,是个开放的问题。

Q&A

Q1:PAIR是什么?

A:PAIR是一个让机器人在"看懂场景和指令"与"生成具体动作"之间建立桥接表示的框架,通过让专家动作结构和感知特征互相对齐,生成Bridge Tokens并提前注入动作生成模块,帮助模型更顺利地完成感知到动作的转换。

Q2:PAIR在真实机械臂实验中表现如何?

A:在UFACTORY UF850机械臂上的七个真实任务里,PAIR把OpenVLA-OFT的平均成功率从51.4%提升到65.0%,提升了13.6个百分点,其中倒水任务提升幅度最大,达到20个百分点。

Q3:PAIR推理时还需要用到专家动作数据吗?

A:不需要。训练时用来提炼动作结构的自编码器只在训练阶段使用,推理部署时会被完全移除,Bridge Tokens只根据当前的画面和语言指令实时生成,不依赖任何专家动作数据。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。