先说一件挺反直觉的事。
现在最前沿的机器人大脑,也就是那些能看懂视频、听懂指令、然后指挥机械臂干活的"世界动作模型",普遍有一个设计:让负责理解视频的那部分网络和负责下达动作指令的那部分网络,长得一模一样,层数完全相同。你可能会觉得这很合理,毕竟两边要配合默契。但2026年的一篇论文告诉我们,这个"看起来很合理"的设计,恰恰是效率和性能的双重拖累。
这篇论文叫《BridgeWAM: Bridging Video and Action Experts via Latent Bridge Queries》,来自复旦大学、北京大学、清华大学等机构的研究者。他们做的事情说起来简单:把那座"看视频"和"做动作"之间强行对齐的桥拆了,换成一座更窄、更聪明的小桥。结果呢,模型参数从5.56B降到5.06B,推理延迟从321毫秒压到88毫秒,速度快了四倍多,可任务成功率不降反升,在LIBERO基准上跑到98.25%。
这事值得琢磨的地方在于,为什么"强行对齐"反而成了累赘。
一、问题出在哪:动作专家被迫"吃"了太多没用的信息
要理解这篇论文的动机,得先搞清楚什么是世界动作模型。
世界动作模型(World Action Model,简称WAM):一种同时理解视频画面和生成机器人动作指令的AI系统,它既要看懂"现在发生了什么",又要决定"接下来该怎么动"。
早期的做法很直接,让模型同时生成未来的视频画面和对应的动作,两者在训练和推理时紧密纠缠。这样做的好处是信息丰富,坏处是慢,因为生成一段视频比直接输出几个动作数字费劲得多。后来有团队想办法简化流程,比如Fast-WAM这个工作,训练时还是用视频做监督信号,但推理的时候不再真的生成未来画面,而是直接让动作部分去读取"看视频的那部分网络"算出来的中间特征。
这个思路听起来挺聪明,但执行方式上还留了一个尾巴,叫做Mixture-of-Transformers(混合专家架构,简称MoT)。
Mixture-of-Transformers(MoT):一种让"视频专家"和"动作专家"逐层对应、在每一层都互相交换注意力信息的网络结构,视频专家算出一层特征,动作专家立刻在对应层读取。
这个MoT架构有两个硬伤。第一个硬伤是,视频专家的每一层都把自己算出的密集视觉特征,不管有用没用,全部暴露给对应的动作层。这就好比一个侦探在破案时,助手把整面墙的监控录像全部搬到他面前,而不是只挑出嫌疑人出现的那几个镜头。侦探确实能从里面找到线索,但他得先花大量精力把无关的画面筛掉,这个筛选过程本身就会分散他的注意力,甚至让他误把无关的背景细节当成关键线索。论文里引用的前期研究也证实了这一点:动作生成环节确实会把过多注意力分配到和任务无关的视觉区域上,干扰了对真正有用信息的利用。
第二个硬伤更直接,既然是逐层对应,那动作专家必须和视频专家一样深。如果视频专家有30层,动作专家也得做成30层左右,否则没法一一对齐。但动作预测这个任务,真的需要这么深的网络吗?论文的消融实验给出了答案:把动作专家从2层扩展到30层,LIBERO基准上的分数几乎没有提升,反而在LIBERO-Plus这种带扰动的测试里从72.24%掉到67.89%。多出来的28层参数,并没有带来更强的动作预测能力,反而可能让模型学会去死记硬背某些场景细节,而不是学习真正通用的操作逻辑。
这就好比给一个只需要看信号灯就能过马路的行人,硬塞给他一整套交通工程师的专业知识。信息量是上去了,但过马路这件事本身并不会因此做得更好,反而可能因为纠结太多无关因素而犹豫不决。如果不限制这种过度学习,模型就会把精力花在记住"这个场景里杯子通常在左边"这种脆弱的捷径上,一旦场景换了,表现立刻崩盘。
二、解法:用32个"桥梁查询"搭一座窄桥
研究者提出的核心方案叫Bridge-of-Experts(专家之桥,简称BoE),具体落地的模型叫BridgeWAM。
这个方案的关键创新是引入了一组叫做Latent Bridge Queries(潜在桥接查询,简称LBQ)的东西。
Latent Bridge Queries(LBQ):32个可学习的"提问向量",它们在视频专家内部不断向当前画面、语言指令、机器人姿态状态发问,把最终答案汇总成一个固定大小的信息包,再把这个信息包交给动作专家使用。
具体怎么运作的呢?在视频专家的每一层,这32个LBQ会像实习生一样,主动去"问"当前这一层的视觉特征、以及之前积累的语言和状态信息,然后把问到的东西更新进自己身上。这个过程贯穿整个视频专家的30层网络,每一层LBQ都在不断吸收、提炼、更新。等到视频专家跑完所有层,这32个查询向量就变成了一个浓缩后的"任务简报",动作专家不需要再去翻视频专家的原始特征,只需要读这份简报就够了。
这里有个设计细节特别值得注意:LBQ能读取当前画面和已有的文本状态信息,但被明确挡在了"未来视频"的大门之外。也就是说,在训练阶段,模型确实会同时预测未来的画面变化来帮助学习,但这个未来预测的监督信号只用来反过来调整LBQ和视频专家本身的参数,LBQ自己并不会直接看到未来画面的内容。这保证了训练和实际部署时信息来源是一致的:推理的时候压根不用生成未来视频,也不会影响动作专家拿到的信息质量。
这就好比一个记者去采访,他会提前做很多功课、看很多背景资料来磨练自己的提问能力,但真正写报道的时候,他只能依据现场发生的事实,不能把自己脑补的未来剧情写进去。做功课(训练时的未来预测监督)让他问问题的水平变高了,但写稿(推理时的实际输出)始终基于眼前的真实信息。如果不做这个区分,让记者真的把自己没发生的脑补剧情写进正式报道,那报道和现实的脱节就会越来越严重,尤其是场景一变,那些脑补出来的套路就全部失效。
三、动作专家怎么用这座桥:两层网络,交替做两件事
拿到LBQ这份"任务简报"之后,动作专家要做的事情其实很纯粹:先靠一次交叉注意力把简报内容读进来,再靠一次自注意力把整个动作序列内部协调好。
论文里的动作专家只有两层,每一层都是"交叉注意力加自注意力"交替进行的结构,这个设计参考了GR00T N1这个开源人形机器人基础模型的做法。交叉注意力负责从LBQ里抓取和当前任务相关的信息,自注意力负责让动作序列(比如连续32步的机械臂轨迹)内部保持协调一致,不会出现前后矛盾的指令。
交叉注意力(Cross-Attention):一种让模型从另一组信息源(这里是LBQ)里有选择地提取相关内容的机制,就像在图书馆里按照自己的问题去查特定的书架,而不是把整个图书馆的书都搬回家。
这种设计带来一个很直接的好处:动作专家不再需要自己的层数去匹配视频专家的深度,两者可以独立设计。视频专家保留完整的30层去学习丰富的视觉表征,动作专家只用两层轻量级网络去做动作解码,整体参数量反而比同类方案更小。
更关键的是,这座桥在训练时是双向打通的。动作预测产生的误差信号,会顺着LBQ一路反向传播回视频专家内部,反过来调整视频专家学习视觉特征的方式。这意味着视频专家不是被动地按照自己原本的生成任务去学习表征,而是会主动朝着"更有利于动作预测"的方向调整自己看待画面的方式。论文做了一个很有说服力的对照实验:把视频专家彻底冻结,只让LBQ和动作专家去学习,结果LIBERO-Plus上的成绩从72.24%直接跌到25.48%,跌了接近47个百分点。这说明让视频表征跟着动作任务一起调整,不是锦上添花,而是性能的核心来源之一。
这就像一个翻译,如果他只是机械地把原文逐字翻译过去,完全不管听众到底想听懂什么,那翻译出来的东西可能语法正确但毫无用处。而一个好翻译会根据听众的反馈,不断调整自己理解原文时侧重的角度,这种调整不会改变原文本身的事实,但会让提炼出来的内容更贴合听众真正需要的那部分。如果翻译完全不接受反馈、只按自己固定的理解方式工作,那不管原文信息多丰富,传递到听众那里的东西都可能文不对题。
四、实验说话:性能没掉,速度翻了好几倍
光讲道理不够,这篇论文把实验做得相当扎实,覆盖了多个仿真基准和真实机器人任务。
在LIBERO这个经典机器人操作基准上,BridgeWAM拿到98.25%的平均成功率,比同样走"去未来视频生成"路线的Fast-WAM高出1.45个百分点,在LIBERO-Object这个子任务上更是做到100%满分。
| 方法 | LIBERO平均成功率 | LIBERO-Plus平均成功率 |
|---|---|---|
| OpenVLA | 76.5% | 19.7% |
| π0 | 94.1% | 53.6% |
| Fast-WAM | 96.8% | 49.5% |
| Faster-WAM | **99.0%** | 73.6% |
| BridgeWAM | 98.3% | 72.2% |
LIBERO-Plus这个基准专门用来测试模型在各种环境扰动下还能不能干活,比如换背景、调灯光、挪摄像头角度、加传感器噪声等等。这正是最考验模型是否"死记硬背"的地方。BridgeWAM在这个基准上把Fast-WAM的49.5%直接拉到72.2%,提升了22.7个百分点,在"摄像头视角变化"这一项上拿到全场最高的56.5%。
效率方面的数字更直接。在相同的H20Z显卡上,用bfloat16精度、32步动作长度、10步去噪,BridgeWAM单次推理只需要1.46万亿次浮点运算,而Fast-WAM要2.05万亿次,Faster-WAM要3.22万亿次。换算成实际等待时间,BridgeWAM是88.05毫秒,Fast-WAM是405.91毫秒,足足快了4.61倍。
| 方法 | 总参数 | 总FLOPs | H20Z推理延迟 |
|---|---|---|---|
| Fast-WAM | 更大 | 2.048 T | 405.91 ms |
| Faster-WAM | 5.56B | 3.221 T | 321.16 ms |
| BridgeWAM | **5.06B** | **1.460 T** | **88.05 ms** |
在真实机器人上,研究者用了一台叫PiPER X的机械臂平台,测试了关闭笔记本、拿放饮料、拿放笔、拿放鼠标这四个任务,并且专门设计了物体高度、颜色、位置、数量都发生变化的分布外场景来考验模型。BridgeWAM在这些真实场景里的延迟是77.1毫秒,而Fast-WAM要190.3毫秒,速度快了2.47倍,成功率也基本持平甚至略优。
五、一张热力图揭示了什么
论文里还做了一个挺有意思的可视化实验,叫动作条件视觉路由图,简单说就是把"动作专家到底在盯着画面的哪块区域看"给画出来。
对比Fast-WAM和BridgeWAM在同一个任务(比如"打开炉子把摩卡壶放上去")上的注意力分布,可以看到一个明显差异:Fast-WAM的注意力比较分散,容易被无关的背景纹理干扰;而BridgeWAM的注意力更集中在目标物体和任务终点附近,而且在换了背景、调了灯光、挪了摄像头之后,这种"盯准目标"的能力还能保持相对稳定。
这个结果某种程度上印证了前面的推理:当动作专家只能通过32个精炼过的LBQ去获取信息,而不是直接面对整面墙的原始视觉特征时,它被迫学会了更有效率地筛选信息,而不是被海量细节淹没。当然,研究者自己也说清楚了,这类热力图只能展示"模型倾向于看哪里",不能严格证明某个像素区域对最终决策有多大的因果贡献,这是个合理的诚实表态。
六、这条路还没走完的地方
论文最后坦诚地提到了两个局限。一个是在真实世界的机器人任务训练中,这套范式应付复杂的长时序操作任务还比较吃力。另一个是BridgeWAM继承了它的基础模型Fast-WAM本身存在的一些不稳定性。研究者给出的下一步计划是想办法让这座"桥"能在更长的时间跨度里保留住任务相关信息,同时还要保持住轻量级动作解码带来的效率优势。
这篇工作建立在不少前序研究的基础上。它参考了MetaQuery这篇论文里"用可学习查询从冻结的多模态语言模型里提取生成条件"的思路,也借鉴了GenCeption里"往预训练视频生成模型里插入可学习标记来提取稀疏结构化预测"的做法,但BridgeWAM的不同之处在于,它让视频专家和动作专家在同一组查询向量上实现了双向的联合学习,而不是单向的条件抽取。
往后看,也已经有后续工作在这条路径上继续推进。2026年稍晚些的Faster-WAM引入了"面向未来的条件信息",在部分LIBERO任务上拿到了比BridgeWAM更高的聚合成功率(比如RoboTwin 2.0平均92.78%对89.84%),这提示未来预测能力和效率优化之间可能还存在一个需要权衡的空间。另外一篇AHA-WAM则选择用"低频视频规划器加高频动作执行器"的组合去进一步解耦两种模态的时间节奏,走的是另一条拆分思路。
写在后面
读完这篇论文,印象最深的反而不是那张性能对比表,而是那个"冻结视频专家"的对照实验,从72.24%掉到25.48%,这个落差大到有点吓人。
这个结果其实在回答一个更根本的问题:预训练好的视觉表征,到底能不能直接拿来给动作任务用?过去很多工作的默认假设是"能",毕竟视频生成模型学到的那些关于物理世界的知识听起来应该是通用的。但这个实验说明,至少在机器人操作这个场景里,视频专家必须跟着动作任务一起继续调整自己的表征方式,否则那些看似丰富的视觉知识,很大一部分其实用不上。
这让我想到一个不完全相关但隐约相通的现象:很多领域专家跨界到新任务时,最初表现往往不如预期,不是因为他们缺乏基础知识,而是因为他们原有的知识结构没有针对新任务的目标做过调整。知识本身是对的,但组织知识的方式需要重新适配。
另一个值得琢磨的细节是,论文花了不小的篇幅去对比"LBQ专属交叉注意力"和"把LBQ、文本、状态信息全部混在一起做注意力"这两种设计,后者成绩明显更差(LIBERO-Plus从72.24%掉到59.29%)。这说明不是信息越多越好,而是信息组织的方式本身就有信息量。把不同性质的信息硬塞进同一个注意力空间,反而会互相干扰。这个发现对做多模态系统设计的人来说,可能比具体的网络结构更值得记住。
如果动作专家能用两层网络就把活干好,那还有多少现在被默认"越深越好"的模块,其实只是在为匹配别的模块而陪跑?
Q&A
Q1:BridgeWAM是什么?
A:BridgeWAM是一种机器人世界动作模型,它用32个可学习的潜在桥接查询(LBQ)替代了传统的逐层视频-动作对接方式,让视频理解网络和动作生成网络可以用不同深度独立设计,既减少了参数和计算量,又提升了任务成功率和抗干扰能力。
Q2:BridgeWAM相比之前的方法快多少?
A:在仿真测试中,BridgeWAM单次推理延迟是88.05毫秒,比Fast-WAM的405.91毫秒快4.61倍;在真实机器人上延迟77.1毫秒,比Fast-WAM快2.47倍,同时参数量更小,任务成功率保持在98%以上。
Q3:为什么动作专家只用两层网络就够了?
A:论文的消融实验发现,把动作专家从2层加深到30层,在标准LIBERO测试上几乎没提升,在带扰动的LIBERO-Plus测试上成绩反而从72.24%降到67.89%,说明过多的动作端容量容易让模型记住特定场景细节,削弱了面对新环境的泛化能力。







