Token导航 LogoToken导航

AI 资讯 · 科技行者

机器人参数需随环境动态调整

更新 2026-11-21科技行者正文 6265字阅读约 20分钟

你有没有想过,一个机器人手臂把一块积木放进托盘的时候,这个看似简单的动作,其实内部藏着好几种完全不同的"状态切换"?

先是悬空移动,接近物体;然后手指接触到积木;接着稳稳地把它端起来运走;最后再精准地放下去。四个阶段,四种完全不同的感知需求和控制逻辑,可整个过程中,机器人收到的指令就一句话:"把积木放进托盘"。

这篇来自上海交大、中科大等机构联合完成的论文,就是从这个看似不起眼的观察出发,捅破了一个大多数人没注意到的问题。

**核心问题:一套参数,真的够用吗**

现在主流的机器人控制模型,叫做VLA模型

VLA(Vision-Language-Action)模型:把视觉、语言理解和动作预测整合在一起的机器人控制模型,简单说就是让机器人"看懂指令、看懂环境、做出动作"的一体化系统。

像π0、π0.5、X-VLA这些模型,背后的逻辑都差不多:用海量数据训练出一套参数,这套参数在执行任务时固定不变,不管面对接触物体还是精细摆放,用的都是同一套权重。

哪怕你用了LoRA这种参数高效微调技术

LoRA(Low-Rank Adaptation):一种给大模型"打补丁"的技术,不用修改原始的庞大参数,而是额外学习一个小规模的低秩矩阵来调整模型行为,省资源又灵活。

情况也没有本质改变,因为微调后的参数依然是固定的,不会随着当前面对的是"抓取"还是"放置"而变化。

这就好比你请了一个厨师,这个厨师做菜的手法是固定的,不管是炒青菜还是炖牛肉,手腕发力的方式都一样。炒青菜要快火猛炒,炖牛肉要文火慢煨,如果厨师坚持用同一套动作逻辑去应对两种完全不同的烹饪需求,结果大概率是两样都做不好,或者说,做得没有专门针对性训练的厨师那么精。机器人面对不同操作阶段却用同一套参数,本质上是同一个道理:没有谁规定一套固定手法能同时应付所有菜式。

研究团队没有停留在直觉层面,他们真的动手做了实验来验证这个猜想。

**诊断实验:冲突是真实存在的**

团队用了RoboCasa365这个数据集里的65个原子任务

RoboCasa365:一个大规模的机器人仿真训练与评测框架,包含了大量厨房场景下的具体操作任务,比如开冰箱、调温度、放置物品等。

他们固定住一个训练好的π0.5模型checkpoint,然后做了三件事:看不同任务的梯度方向是否冲突、看一次参数更新对其他任务的影响、看模块内部各个参数组之间是否互相抵消。

第一个实验的结果挺扎心的。

**跨任务比较中,负向梯度冲突的发生率在视觉语言模块达到47.80%,在动作模块达到48.28%,比同任务内部的38.94%和42.69%都要高。**

这说明什么?不同任务想要的参数调整方向,经常是互相拧着来的,接近一半的情况下是真正"对着干"。

第二个实验更直接,团队拿一个任务的数据做一次完整的梯度更新,然后看这次更新对另外64个任务的损失有什么影响。结果是,所有260次更新都成功降低了自己任务的损失(平均降低2.38%),但每一次更新平均会让22到46个其他任务的损失变高,中位数是32个,也就是说超过一半的其他任务都被拖累了。

这就像公司里给某个部门加薪,本意是激励这个部门更拼命干活,结果却发现,这笔预算是从整体资源池里挤出来的,其他部门的奖金池缩水了,士气反而下降了。如果不做任何区分,笼统地用"一碗水端平"的加薪政策,看似公平,实际上谁都没真正被满足。

第三个实验把模块拆解到了更细的粒度,分成47个视觉语言参数组和19个动作参数组,发现在跨任务比较里,视觉语言模块的"正负抵消"比例高达36.13%,动作模块也有30.90%。

**这意味着,哪怕模块整体看起来冲突不大,内部其实各个小组件在互相拉扯,只是正负抵消后让表面数字显得风平浪静。**

这个发现非常关键,它说明问题不是表面上那么简单,不是"换个大模块就能解决",而是渗透到了非常细粒度的参数层面。

**MorphAct:让参数跟着场景变**

既然问题诊断清楚了,团队提出的解法叫MorphAct

MorphAct:论文提出的核心方法,名字来自希腊语"morphe"(形态、变形),意思是让机器人策略的参数能随着交互场景的变化而动态调整,而不是固定不变。

它的核心思路是:不再用一套固定参数应付所有场景,而是搭建两个生成器,专门根据当前的观察、语言指令和机器人状态,实时生成适合当前情境的参数更新。

这两个生成器分别叫Gv和Ga

Gv:视觉语言参数生成器,根据当前的图像和语言输入,生成针对视觉语言模块的低秩参数更新。

Ga:动作参数生成器,根据Gv处理后的特征和机器人状态,生成针对动作模块的低秩参数更新。

关键的设计在于,这两个生成器不是各自独立工作的,而是有严格的先后依赖关系。Gv先根据当前的图文输入生成视觉语言模块的更新,这个更新会改变模型对当前场景的理解(生成一个叫做ht的适配特征);然后Ga拿着这个ht,加上机器人当前的姿态信息,才去生成动作模块该怎么调整。

这个设计逻辑,其实映射了机器人真实的计算流程:先得看懂场景,才能决定怎么动。

打个比方,这就像导航软件先要重新计算路况(视觉语言模块适配当下场景),然后才能根据最新路况给出转弯指令(动作模块适配具体操作)。如果你跳过第一步,直接用旧地图给出转弯指令,哪怕路况已经大堵车了,导航还是让你按原计划走,结果可想而知。MorphAct不允许这种"脱节",动作生成器必须接住视觉语言适配后的最新信息,而不是用没经过调整的原始特征。

这个耦合机制在论文的消融实验里得到了非常直接的验证。团队做了一个叫Unadapted的对照组,让两个生成器都工作,但动作生成器用的是适配之前的原始特征,而不是适配之后的ht。结果平均成功率从MorphAct的97.20%掉到了86.00%,足足掉了11.20个百分点。

**这说明光是让两个模块分别适配还不够,真正的收益来自于让它们按照计算依赖的顺序串联起来。**

在具体任务套件上,这个耦合效果体现得更明显。在"Object"任务上,耦合只带来2.07个百分点的提升,但在"Long"(长程任务)上,耦合带来了21.60个百分点的巨大提升,在"Goal"任务上也提升了13.47个点。这说明越是复杂、越需要连续决策的任务,这种信息传递的完整性就越重要。

**低秩合成:怎么做到又快又省**

直接给每个场景生成一整套新的权重矩阵,计算量会爆炸。所以MorphAct沿用了低秩适配的思路,但做得更精细。

论文里用到的结构化合成方法参考了一个叫HY-WU的技术框架,简单说,就是不直接生成庞大的权重矩阵,而是生成两个小矩阵A和B,它们相乘后近似替代原本要调整的大矩阵。这样一来,参数量大幅降低,但依然能表达足够丰富的调整方向。

对于Q/K/V这类注意力投影层,团队按照实际的注意力头数量分别生成;对于前馈网络层,则用整体矩阵级的因子处理。这些细节处理保证了不同模块、不同宽度深度的网络层都能被恰当适配,不会因为"一刀切"而出问题。

训练过程中,这两个生成器不是单独训练的,而是跟着模型本身的动作预测目标一起联合训练,不需要额外标注每个动作属于哪个操作阶段,也不需要专门的"专家适配器"目标去指导。

这一点其实挺巧妙的。

**团队没有告诉模型"现在是接触阶段,现在是运输阶段",而是让模型自己通过动作预测的损失函数去学会判断当前该生成什么样的参数调整。**

这就像教孩子骑自行车,你不需要一步步讲解"现在该用多大力气蹬踏板,现在该怎么倾斜身体保持平衡",孩子通过不断尝试、不断根据摔倒或稳住的反馈来调整动作,自然就学会了协调。如果非要靠详细规则手把手教,反而可能限制了孩子根据路况随机应变的能力。MorphAct用的就是这种"让结果反馈驱动学习"的思路,而不是硬性标注每个阶段该怎么做。

**实验结果:三个骨干模型全面提升**

团队在X-VLA、π0、π0.5这三个主流VLA骨干模型上都做了验证,测试场景包括LIBERO和Meta-World两个仿真基准,还有四个真实世界的机械臂任务。

LIBERO基准测试:一个用于评测机器人终身学习能力的仿真基准,包含Spatial(空间)、Object(物体)、Goal(目标)、Long(长程任务)四个任务套件。

Meta-World基准测试:一个多任务强化学习评测基准,MT50包含50个不同难度的机器人操作任务,按难度分为Easy、Medium、Hard、Very Hard四档。

在LIBERO上,三个骨干模型的平均成功率都有提升:X-VLA从93.05%涨到97.20%,π0从94.15%涨到96.65%,π0.5从96.85%涨到98.60%。提升幅度不算惊人,但考虑到基线本身已经很高了,在90%以上的区间再往上提升4个百分点,难度其实不小。

最明显的提升出现在Long这个长程任务套件上,三个模型分别提升了9.00、7.20和5.13个百分点。这恰好印证了前面的逻辑:任务越长、涉及的操作阶段越多,固定参数的局限性就越明显,而MorphAct的优势也就越突出。

Meta-World上的提升幅度更大。X-VLA平均成功率从55.54%提升到63.11%,涨了7.57个百分点;π0从50.75%涨到67.05%,涨了16.30个百分点;π0.5从48.70%涨到64.42%,涨了15.72个百分点。

值得一提的是,提升并不只是集中在简单任务上。π0在"Very Hard"这个最难的任务组里,成功率从20.00%直接跳到58.00%,涨了38个百分点,这几乎是三倍的提升。π0.5在"Hard"组里也从38.30%涨到66.39%。

| 骨干模型 | 基准LIBERO均值 | MorphAct后均值 | 基准Meta-World均值 | MorphAct后均值 |

|---|---|---|---|---|

| X-VLA | 93.05% | **97.20%** | 55.54% | **63.11%** |

| π0 | 94.15% | **96.65%** | 50.75% | **67.05%** |

| π0.5 | 96.85% | **98.60%** | 48.70% | **64.42%** |

真实世界的测试更接地气。团队用π0.5加上MorphAct,在四个真实的机械臂任务上做了50次重复实验,包括分拣字母积木、分拣五金零件、搬运水瓶、往柜子里摆放物品。

分拣五金零件这个任务原本成功率只有8.00%,加上MorphAct之后涨到了22.00%,整整翻了快三倍。其他三个任务的提升幅度在8到12个百分点之间。

| 真实任务 | 基线成功率 | MorphAct成功率 | 提升幅度 |

|---|---|---|---|

| 分拣字母 | 82.00% | **92.00%** | +10.00 |

| 分拣五金 | 8.00% | **22.00%** | +14.00 |

| 搬运水瓶 | 78.00% | **86.00%** | +8.00 |

| 柜子收纳 | 84.00% | **96.00%** | +12.00 |

当然,这种实时生成参数的做法不是没有代价的。团队测算下来,端到端的动作预测延迟比普通的共享LoRA方案增加了大约18%到21%,内存占用也多了1.6到1.7GB左右。换句话说,MorphAct是用一点点算力和延迟上的开销,换来了实打实的成功率提升。

**消融实验:拆开来看每个设计到底值不值**

团队还专门做了一组对照实验,验证MorphAct里每个设计选择是不是真的必要,而不是随便加上去的。

第一组对比是关于"参数生成该依据什么信息"。如果把生成条件固定成一个常量(不管什么任务都用同一个),平均成功率只有87.50%;如果给每个任务分配一个固定的生成条件(相当于知道任务编号),成功率是88.25%,只比常量方案好一点点。而MorphAct用当前的真实观察和机器人状态作为生成依据,成功率达到了97.20%,比前两者分别高出9.70和8.95个百分点。

**这说明光知道"这是什么任务"是不够的,真正重要的是知道"现在正处于任务里的哪个瞬间"。**

第二组对比是关于到底该适配哪个模块。只适配视觉语言模块、不适配动作模块的方案,成功率只有43.50%,表现很差;只适配动作模块、不适配视觉语言模块的方案,成功率是81.00%,明显更好。这说明动作侧的适配单独来看价值更大,但两头都不适配肯定不如两头都适配。

第三组对比就是前面提到的特征耦合实验,Unadapted方案(两个生成器都工作,但动作生成器拿的是适配前的旧特征)成功率是86.00%,而完整的MorphAct(动作生成器拿适配后的新特征)是97.20%。

这三组实验串起来看,形成了一个清晰的递进逻辑:从只适配一个模块,到适配两个模块但信息不互通,再到适配两个模块且信息完整传递,成功率一路从81%、86%涨到97.20%。每一步的提升都是实打实的,不是玄学。

**写在后面**

读完这篇论文,最触动我的其实不是那个97.20%的成功率数字,而是那组梯度冲突的诊断数据。

47.80%、48.28%这两个数字,意味着接近一半的跨任务梯度方向是互相矛盾的。这不是一个小概率的边缘情况,而是接近抛硬币的概率。换句话说,如果你随便挑两个厨房操作任务去训练同一个模型,差不多每两次就有一次,这两个任务是在"拔河",谁也没法把对方往自己想要的方向拉过去,而是在互相抵消。

这让我想起一个更普遍的问题:很多看似"统一"的系统,表面上数字很平稳,内部其实藏着剧烈的拉扯,只是正负相互抵消后,外部看起来岁月静好。论文里那组"36.13%的抵消率"的发现,恰恰揭示了这种假平静的本质:模块级别的梯度余弦值可能很小,看起来"没什么冲突",但拆解到更细的参数组粒度才发现,内部其实充满了互相拉扯,只是抵消得比较干净。

这其实是一个值得推广到其他领域的诊断思路:别只看汇总指标是否平稳,要去拆开看内部到底有没有被掩盖的矛盾。

论文里还有一个细节我觉得挺值得玩味的,MorphAct没有用任何人工标注的"操作阶段标签"去指导训练,完全靠动作预测这个原生目标自己学会该怎么区分不同场景该生成什么参数。这意味着,模型对"接触"和"运输"这些操作阶段的区分,不是人类教它的,而是它自己从动作执行的后果里反推出来的。

这种"无监督地学会任务内部结构"的能力,或许比成功率本身更值得长期关注。毕竟,能自己发现任务结构的模型,未来应对没见过的新任务时,可能也更有适应力。

机器人现在学会了让参数跟着场景变形,那下一步呢,会不会有模型学会让整个网络结构,也跟着任务的复杂程度自己伸缩变形?

Q&A

Q1:MorphAct是什么?

A:MorphAct是一种让机器人策略参数随交互场景动态变化的框架,通过两个耦合的生成器为视觉语言模块和动作模块实时生成适配当前情境的低秩参数更新,而不是像传统方法那样用一套固定参数应付所有操作阶段。

Q2:MorphAct为什么能提升机器人操作的成功率?

A:因为不同操作阶段(比如接触、运输、精确放置)对参数的需求经常互相冲突,固定参数难以兼顾所有需求。MorphAct让参数跟着当前观察和机器人状态实时调整,并让动作生成器依据视觉语言模块适配后的最新特征工作,实验显示在LIBERO和Meta-World基准上成功率最高提升16.30个百分点。

Q3:MorphAct会增加机器人的计算延迟吗?

A:会,但幅度不大。相比普通的共享LoRA方案,MorphAct的端到端动作预测延迟增加约18%到21%,内存占用增加约1.6到1.7GB,属于用适度的算力开销换取实打实的成功率提升。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。