Token导航 LogoToken导航

AI 资讯 · 科技行者

机器人视觉表征中的寄存器机制研究

更新 2026-11-16科技行者正文 6647字阅读约 21分钟

你有没有想过,一个正在学习拿起杯子、打开抽屉的机器人大脑里,到底在发生什么?

它看着一幅画面,这幅画面被拆解成几十个小方块,每个方块对应画面的一小块区域。按理说,这些方块应该老老实实地记录自己那一块地方的信息:这里有个把手,那里是桌面。但研究人员意外发现,有那么几个方块,它们的数值大得离谱,差不多是其他方块的十倍。更奇怪的是,这些"异常值"几乎每次都出现在固定的地方,哪怕画面内容完全不同。

这就是这篇论文的起点。来自上海交通大学、中科院自动化所和它石智航(Humanoid Robot Shanghai)的研究团队,在研究一种叫世界动作模型的机器人大脑时,撞见了这个怪现象,并且顺着它挖出了一整套提升机器人操作能力的新方法。

**世界动作模型是什么,它为什么重要**

世界动作模型(World Action Model,简称WAM):一种让机器人把"看懂世界会怎么变化"和"该做什么动作"结合在一起学习的系统,核心思路是借用视频生成大模型的能力,让机器人不仅看懂当前画面,还能预测接下来会发生什么,从而更聪明地决定下一步动作。

这套思路其实挺自然的。你想想人是怎么学会倒水的:不是死记硬背"手往左转30度",而是先在脑子里大致知道水会怎么流、杯子会怎么晃,然后再调整手的动作。研究者希望机器人也能这样,先用一个视频生成模型(学过海量视频,懂得物理世界大致怎么运作)打底,再在这个基础上加一个专门预测动作的模块。

这套架构里有两个主角。一个是视频生成部分,叫Video DiT(负责理解当前画面并想象未来可能的样子);另一个是动作生成部分,叫Action DiT(负责根据视频部分提供的信息吐出具体的机械臂动作)。两者之间通过一种叫K/V缓存的机制连接,视频部分把提炼出的信息打包好,动作部分直接拿来用,不用每次都重新理解画面。

这套系统效果不错,但一直有个问题没人说清楚:视频部分到底是怎么把"看懂的东西"转化成"对动作有用的信息"的?这篇论文就是奔着这个问题去的。

**离谱的高数值方块,到底在干什么**

研究团队盯上了一个叫FastWAM的具体模型,发现在它的中间到后面几层网络里,总有那么几个空间位置的数值特别夸张,大概是其他位置的十倍。这不是个例,换好几张画面测试,高数值还是稳定出现在差不多的位置。

普通的预训练视频模型(比如阿里的Wan2.2和英伟达的Cosmos3-Nano)里也有类似现象,但弱得多、也不稳定。换句话说,这种极端数值是在把视频模型改造成动作模型的过程中被放大出来的,这本身就是个信号:它可能和动作生成有关系。

研究者没有止步于观察,他们做了个很直接的实验。把视频部分提炼出来的信息(也就是K/V缓存)里,某一个具体位置的内容直接遮住,让动作模型"看不见"这个位置,然后看预测出来的动作变化有多大。这个变化量,论文里叫它动作敏感度。

如果某个位置的数值特别大只是个数值bug,那遮住它应该没什么影响。但实验结果不是这样:那些高数值的位置,遮住之后动作预测确实变了,而且变化幅度相当稳定,在98个空间位置里排名大概第15位左右。它不是最重要的(画面里真正和任务相关的物体,比如要抓的瓶子,遮住后动作变化往往更大),但它持续、稳定地"有话语权"。

这里有个细节特别有意思。研究者还追踪了数值从"原始状态"到"进入动作模型前"的变化过程,发现经过归一化和投影处理后,那种夸张的数值差异基本被抹平了,键和值的大小都回到了正常范围。

也就是说,极端的数值本身并没有真正传递给动作模型,但它背后代表的"功能重要性"却传递过去了。

这就好比公司里有个员工,工资单上写的数字看起来和别人没什么两样(归一化和投影就像是统一的工资核算系统),但他在会议上说的每句话,大家都格外重视。工资条(数值大小)看不出异常,可实际影响力(动作敏感度)是真实存在的。如果没有这道"统一核算"的工序,这个员工工资单上会直接写出离谱的数字,系统很容易因为这种数值失衡而训练不稳定甚至崩溃;但正因为有了归一化这道工序把表面数字磨平,这种隐藏的重要性才能被稳定保留下来,而不被极端数值带偏整个网络。

研究者给出了一个谨慎的结论:这些高数值位置不是什么"动作专用token",也不是注意力机制里常见的那种"注意力黑洞"(attention sink,指网络倾向于把大量注意力权重集中到某个并不携带实际信息的位置,纯粹是计算上的权宜之计)。它们更像是某种功能发生了偏移的信号灯:本该负责表达"这块画面长什么样"的位置,渐渐被征用去表达一些和具体空间位置没什么关系、但对动作决策有用的抽象信息。

**问题来了:要不要专门给这些信息留个位置**

发现这个现象后,研究团队冒出一个很合理的猜测:既然网络里某些空间位置被"挪用"去承担非空间性的功能,那是不是说明网络本身缺少专门存放这类信息的地方?如果给它们专门腾出一块地方,会不会更好?

这个猜测催生了这篇论文的核心方法,叫RegisterWAM。

寄存器(Register):论文里指的是一批可学习的、不对应任何具体画面区域的特殊token,它们和普通的空间token一起参与网络的自注意力计算,但没有"我代表画面哪一块"的身份限制,相当于给网络开辟出几个不受空间约束的"自由发挥"位置。

这个思路并不是这篇论文首创。此前已经有研究发现,普通的视觉Transformer(ViT)如果加上几个这样的"自由token",反而能提升性能,因为网络本来就有一些全局性的、和局部图像内容无关的计算需求,寄存器正好能接住这部分需求。这篇论文把这套思路第一次系统地搬到了机器人的世界动作模型里,并且让这些寄存器直接承担起连接视频部分和动作部分的桥梁功能。

但故事没有这么简单。研究者加上寄存器之后发现,高数值异常并没有完全消失,只是在网络中间层被压下去了,到了最后一层,异常值又冒出来了,而且是和寄存器的高数值混在一起的。换句话说,光加寄存器,相当于给员工开了个新办公室,但原来那个"被征用"的员工该干嘛还干嘛,新办公室里的人也跟着忙活起来,两边都有活干,谁也没闲下来。

真正让事情发生转折的是另一个操作:给画面本身也加一个额外的监督信号。

观察流匹配损失监督(Observation Flow-Matching Loss):一种训练约束,要求网络对当前画面的空间token输出,必须能准确重建这帧画面本身(在零噪声水平下做流匹配预测),目的是逼着这些空间token老老实实地做好"描述画面"这份本职工作,不要三心二意去兼职表达别的东西。

加上这道约束之后,奇迹发生了:最后一层的空间异常值彻底消失,高数值全部集中到了寄存器身上。这个结果挺说明问题的。

单纯给寄存器腾地方,不能保证空间token真的会把"兼职工作"让出来,就像公司光开新办公室,不强制要求老员工把手头的杂活移交出去,他照样会继续揽着干。只有明确告诉空间token"你的KPI就是把画面本身描述准确,别的不用管",再加上寄存器这个新岗位,功能的转移才真正发生。两个条件缺一不可。

这个现象也带来了实打实的性能提升。研究者做了个对照实验:原始FastWAM(没有寄存器也没有观察损失)成功率是53.64%;只加8个寄存器但不加观察损失,成功率略微提升到54.18%,基本没什么起色;但加上观察损失监督之后,哪怕不用寄存器,成功率直接跳到58.07%;把寄存器和观察损失结合起来,用寄存器单独做动作条件,成功率能冲到59到62个百分点左右(具体数字随寄存器数量在59.56%到62.45%之间波动,4个寄存器时表现最好)。

研究团队还测试了寄存器数量的影响,1个、4个、8个、16个、64个都试过,发现并不是越多越好,4到8个是个比较舒服的区间,继续往上加效果反而开始下滑。这也提醒我们,给网络开辟"自由发挥空间"这件事,不是越大越好,关键看信息是不是真的需要那么多独立通道去承载。

另外研究者还对比了两种让动作模型获取视觉信息的方式:一种只让动作模型看寄存器(Register-only),另一种让它同时看原始空间token和寄存器(Raw+Register)。两种方式的表现其实差不多,研究者最终选择了只用寄存器的方案,理由很实际:这样动作模型在反复迭代去噪生成动作的过程中,需要处理的视觉信息量更少,计算负担更轻。

**不止于整理秩序:给当前画面也加一道"复原考题"**

发现观察损失监督不仅能把高数值异常赶去寄存器,还能单独提升策略表现(前面提到的那个58.07% vs 53.64%),研究者又往前走了一步。

他们意识到,之前的做法只是把当前画面当成一个"输入条件",告诉网络"这是你现在看到的样子",但没有真正逼着网络去深入理解这幅画面。能不能把"理解当前画面"这件事变成一道主动的考题,而不只是被动接收?

于是他们设计了噪声化观察流匹配损失(Noised-Observation FM Loss):故意往当前画面的隐变量里掺入一定比例的高斯噪声,把它弄"脏",然后要求网络从这个被污染的输入里,依然能推算出干净画面原本该有的样子,用这个复原任务作为额外的训练目标,专门用来打磨视频部分网络的参数,而不是给动作模型增加新的信息来源。

这个设计的意图挺好理解的。想象你在练书法,老师不只让你照着字帖写一遍,还会故意把字帖弄脏弄花一部分,让你凭记忆和理解补全被遮住的笔画。单纯临摹只能锻炼手部动作的复刻,但补全被遮挡的部分,逼着你必须真正理解这个字的结构逻辑,而不是单纯照葫芦画瓢。如果没有这道"补全考题",网络很可能只是机械地把输入原样转发出去,看起来损失很低,但实际上并没有真正吃透画面里的物理结构和场景逻辑。

研究者把这个噪声水平记作σ,并做了一轮参数扫描,结果显示σ取0.5的时候效果最好,成功率能到82.52%;σ取0.25的时候效果明显打折扣,只有76.14%。这说明"考题"的难度要刚刚好,太简单起不到强迫理解的效果,太难可能又会让网络学偏。

**RegisterWAM的最终成绩单**

把寄存器、观察流匹配损失监督,再加上噪声化观察流匹配损失这三件事拼在一起,就是这篇论文最终提出的RegisterWAM模型。它的训练目标一共包含四部分:动作去噪损失、当前画面重建损失、未来画面预测损失,以及新增的噪声复原损失,四者加权求和一起优化。

研究团队在三个测试场景里验证了这套方案。

在LIBERO-Plus(一个专门用来考察视觉-语言-动作模型鲁棒性的基准测试,覆盖相机视角变化、机器人形态变化、语言表达变化、光照变化、背景变化、噪声干扰、物体布局变化这七大类分布偏移)上,RegisterWAM拿到了81.64%的总体成功率,这是在完整的10030个测试回合上跑出来的结果,而且全程没有用额外的具身预训练数据,也没有引入任何外部基础模型帮忙。对比之下,原始FastWAM只有51.5%,另一个改进版Faster-WAM在75%左右,一些用了额外几何、语义或动作先验信息的方法(比如4D-WAM、ST-WAM、DreamWAM等)成绩在71%到75.5%之间。RegisterWAM在没有借助这些额外资源的情况下,反而拿到了最高分,这个对比挺说明问题的。

在RoboTwin 2.0(一个双臂机器人操作基准,分干净场景和域随机化场景两种测试条件)上,RegisterWAM在干净场景拿到92.9%,域随机化场景拿到93.0%,平均93.0%,略微超过了FastWAM的91.9%和Faster-WAM的92.6%。

真人实机测试更有说服力,因为这是真实世界里跑出来的结果,没有仿真环境的理想化成分。研究团队在一台三摄像头的双臂机器人平台上做了六组真实任务测试,包括装电池、叠碗叠杯、递瓶子这三个训练时见过的任务,还有改变桌子高度、换桌布颜色、加干扰物这三个训练时没见过的变化场景。结果显示,RegisterWAM把整体任务得分从FastWAM的0.3483提升到了0.5238,六个场景里有五个都有提升,只有换蓝色桌布这一项两个模型都得了零分,说明外观的大幅度变化依然是个共同的短板,没有被这套方法完全解决。

研究者还测试了这套设计能不能搬到别的生成模型架构上。他们找了一个基于图片编辑而不是视频生成的模型ImageWAM(用FLUX.2这个40亿参数的图像编辑模型做底座),加上同样的寄存器和观察损失设计后,平均成功率从83.10%提升到85.42%,说明这套思路不是绑死在某个特定架构上的,换一套生成模型的底座,依然能吃到类似的红利。

下面这张表汇总了LIBERO-Plus上几个代表性方法的对比情况(数值为成功率百分比):

方法 | 相机变化 | 机器人变化 | 语言变化 | 光照变化 | 背景变化 | 噪声干扰 | 布局变化 | 平均

FastWAM | 16.4 | 44.5 | 68.9 | 78.2 | 53.7 | 37.7 | 60.7 | 51.5

Faster-WAM | 53.8 | 71.6 | 94.7 | 96.3 | 61.3 | 63.6 | 79.1 | 73.6

PILOT(使用额外先验)| 76.0 | 70.0 | 84.0 | 92.0 | 85.0 | 78.0 | 82.0 | 81.0

**RegisterWAM** | 59.2 | 71.9 | 93.7 | 95.7 | **87.9** | **85.1** | 84.3 | **81.6**

可以看到,RegisterWAM在背景变化和噪声干扰这两类挑战上表现尤其突出,这也许和寄存器把"与具体空间位置无关"的信息剥离出来有关,当背景或噪声扰乱了画面的局部细节,那些专门负责全局理解的寄存器受到的冲击相对更小。

写在后面

读完这篇论文,我一直在想一个问题:那个最初被研究者发现的"异常值",到底算不算一个bug?

论文里其实很谨慎地回避了给这个异常值下一个明确的语义定义,没有说它"代表了物体的位置信息"或者"编码了某种抽象概念"。这种克制挺难得的。很多论文一旦发现某个有趣的现象,容易急着给它贴标签、讲故事,但这篇论文选择的是:先承认这个现象存在、先证明它有功能性的后果,然后用一个架构实验(加寄存器)去验证"如果给它一个专门的家,它会不会搬过去",而不是直接断言它是什么。这种"先验证行为,再谨慎推测本质"的研究路径,本身就是一种值得学习的态度。

另一个让我印象深刻的细节是,寄存器和观察损失监督必须搭配使用才有效,单独用任何一个都不够。这其实是个挺朴素的道理:给员工开新工位,不代表老员工会主动把活儿移交过去,除非你同时明确了新的分工规则。架构上的"留白"和训练目标上的"约束",两者得配合着来,光靠结构设计是不够的,这对做模型架构设计的人来说是个值得记住的提醒。

论文里还有个没有被充分讨论的地方让我好奇:寄存器之间似乎没有展现出明确的分工,不同的寄存器在不同头(head)上关注的画面区域确实不太一样(附录里那张注意力可视化图显示,有的寄存器盯着机械爪,有的盯着盘子),但这种差异目前看起来更像是训练中自发形成的,而不是人为设计的。如果未来能让寄存器的分工更可控、更可解释,或许能进一步打开这个黑箱,看看机器人在动作决策前到底提炼出了哪些抽象信息。

机器人学会动作,靠的或许不只是看得更清楚,而是学会把看到的东西,拆成"属于这里"和"不属于任何地方但很重要"两种,然后分别收好。这件事听起来简单,但做到和做好之间,隔着这篇论文里那么多次实验和参数调试。

Q&A

Q1:RegisterWAM是什么?

A:RegisterWAM是一种改进机器人世界动作模型的方法,通过在视频生成网络中加入可学习的非空间寄存器token,并结合当前画面的流匹配损失监督,把原本混杂在普通空间token里的高数值异常信息整理归位,让寄存器直接承担连接视觉理解和动作生成的桥梁功能。

Q2:寄存器为什么能提升机器人操作成功率?

A:寄存器为网络提供了不受空间位置束缚的信息容器,专门承载那些对动作决策有用但不属于某个具体画面区域的抽象信息,配合观察流匹配损失逼迫空间token回归本职工作,整理之后的表征更干净、更适合直接用于指导动作生成,LIBERO-Plus测试上成功率从53.64%提升到约82.52%。

Q3:高数值空间异常值到底代表什么?

A:论文发现这些异常值并非简单的数值bug,它们在键值投影后数值差异会被抹平,但对最终动作预测仍有稳定、持续的影响,研究者认为这是部分空间token被功能性征用去承担非空间信息表达的外在信号,而非故意设计的"动作专用token"或注意力黑洞。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。