Token导航 LogoToken导航

AI 资讯 · 科技行者

清华智元无问推出96机器人无人工干预自学习

更新 2026-11-23科技行者正文 7154字阅读约 23分钟

2023年前后,如果你去看那些能让机器人自己变聪明的方法,几乎都绕不开一件事:得有个人盯着。

机器人干活,干砸了,人得冲上去接管,手把手教它正确的做法,这叫"纠正式学习"。这套逻辑听起来挺合理,毕竟小孩学走路也是摔了大人扶一把。但问题是,当机器人的数量从1个变成100个的时候,这套逻辑就扛不住了。

你没法雇到100个老师同时盯着100个机器人干活。

这就是清华大学、智元机器人(AgiBot)和无问芯穹联合团队这篇论文想解决的事。他们管这个思路叫"集体经验学习"(Collective Experience Learning,简称CEL),直白点说就是:机器人自己干活产生的经验,能不能自己用起来,不用人天天盯着纠正?

**答案是可以,而且效果好到有点反常识**

在96台机器人协同训练的手机包装任务里,初始成功率只有79.2%,靠这套方法一路学上去,最后冲到了98.3%。换句话说,原来每5次任务就要失败1次,学完之后差不多每60次才失败1次。

这件事到底是怎么做成的,值得仔细拆一拆。

当"老师"跟不上"学生"数量的时候

先说说这个领域此前卡在哪儿。

机器人要干活,得先有个"底子",也就是一个由人类示范训练出来的初始策略。这个初始策略通常不够可靠,碰到物体形状变了、接触条件变了、甚至换了一台机器人本体,都可能翻车。尤其是那种需要连续完成好几个步骤的任务,比如把手机、充电线、说明书依次装进盒子里再合上盖子,前面一步出错,后面全崩。

**人工智能模型vision-language-action(VLA)**:一种把摄像头看到的画面、文字指令,直接翻译成机器人动作指令的模型,论文里用的是π0这款模型。

过去解决这个"底子不稳"问题的办法,基本都靠人工干预。一种叫HG-DAgger(人工门控数据集聚合),机器人在执行任务,人在旁边盯着,一旦发现机器人要出岔子,立刻接管,手把手纠正,这段纠正动作会被记录下来用于后续训练。另一种是在线强化学习,比如论文里对比的RLT方法,机器人一边干一边学,出错了靠人工打分或纠正。

这些方法都有用,论文里的数据也证明了这点:多机器人HG-DAgger把五个任务的平均成功率从36.3%拉到了81.0%,确实是实打实的进步。

但这里藏着一个很尴尬的拐点。

论文里观察到,当训练用的机器人数量超过某个规模后,HG-DAgger的效果开始**饱和甚至下滑**。在"电话充电"和"手机打包"这两个任务上,成功率涨到一定程度就不动了;在"凳子组装"任务上,机器人数量继续增加,成功率反而掉了下去。

为什么会这样?论文给出的推测是,人工监督和干预的能力跟不上了。

一个教练可以同时盯3个学员打网球,让他每个动作都纠正到位。但如果突然来了50个学员呢?教练的注意力被分散,纠正质量下降,甚至有些学员的错误动作根本来不及被发现,就已经练歪了。机器人训练面临的是同样的逻辑:人工干预质量和干预规模之间存在一个此消彼长的关系,机器人越多,每个机器人能分到的"优质纠正"反而越少。

这就是为什么研究团队要另辟蹊径,不再依赖"人盯着改",而是想办法让机器人自己产生的经验,变成自己进步的素材。

失败和成功,谁该教谁?

这里有个很直觉但其实不好办的问题:机器人干一次任务,最后只有一个"成功"或"失败"的标签,没有人告诉它具体哪一步做错了,也没人告诉它正确动作应该是什么。

这种只有结果反馈、没有具体纠正动作的信息,叫**二元结果标签**:一次任务执行完,只记录"做成了"或"没做成",不包含具体该怎么改的指导信息。

如果只用成功的轨迹去训练模型,模仿着学,会有个明显的盲点:所有成功案例看起来都差不多重要,但实际上,有些成功经验对当前策略的"短板"更有针对性,有些则没那么相关。好比你想提高跳投命中率,教练把你过去所有投篮视频都拿出来重播一遍,但其实你真正需要反复看的,是那些你刚好在三分线附近容易手型跑偏的镜头,而不是所有投篮画面平均分配注意力。

研究团队由此设计出了这套方法的核心机制,叫**失败引导的经验检索微调**(Failure-guided Experience Retrieval fine-Tuning,简称FERT)。

这个名字有点拗口,但逻辑很清楚:失败的执行记录不被用来模仿,而是被当作一把"钥匙",去成功经验库里找最相关的片段,然后让模型重点学这些被找出来的片段。

具体怎么操作?论文把它拆成四步。

**第一步:异步收集经验**

机器人在各自的节奏下不停地干活,每完成一次任务,系统记一个成功或失败的标签。成功的轨迹存进一个共享的"集体经验缓冲区",失败的轨迹不进缓冲区,只是临时拿来当"查询线索"。

这里的"异步"很关键,它意味着机器人们不需要同步步调,谁干完谁的经验就先进去,不用等最慢的那个。

**第二步:把经验变成可比较的数字**

机器人看到的画面、关节的姿态,这些原始数据没法直接拿来比对相似度,得先编码成向量。论文用了一个固定不变的视觉编码器(从VLA模型里冻结抽取出来的),把每个摄像头画面压缩成一组数字特征,再跟机器人的关节状态拼在一起,形成一个统一的"经验指纹"。

**编码器**:一种把图像、状态等原始信息转换成一串数字(向量)的神经网络模块,方便后续做相似度比较。

为什么要"冻结"编码器不让它跟着训练变化?因为如果编码器一直在变,那么昨天存进缓冲区的成功经验,和今天新失败的查询,用的"度量尺"就不是同一把了,没法公平比较。这就好比你要用同一把尺子量两段距离才有意义,如果尺子本身在热胀冷缩,量出来的数字就没法比。

**第三步:拿失败去"查"成功**

机器人失败前的最后一段观察(大约3秒的画面),被当作查询,拿去跟缓冲区里所有成功轨迹做时间对齐匹配。这里用的技术叫**S-DTW**(slope-constrained subsequence dynamic time warping,带坡度约束的子序列动态时间规整):一种允许两段时间序列存在步速差异但依然能对齐比较的算法,原本常用于语音识别里对齐语速不同的两段话。

匹配出来的是"代价最低"的几段成功轨迹片段,代价越低,说明这段成功经验跟当前失败场景越像。被匹配到的片段还会往前往后各扩展一小段,确保学到的不只是孤立的一帧,而是一段连贯的动作序列。

**第四步:让匹配到的片段获得更高的"被学习优先级"**

每次检索命中之后,对应的动作片段会获得一个"采样优先级"的加分,优先级越高,这段数据在后续训练中被抽到的概率就越大。同时这个优先级会随时间衰减,保证系统能跟上机器人最近的失败模式,而不是永远盯着几周前的老问题。

整个逻辑串起来就是:失败决定"该往哪使劲",成功提供"具体该怎么做"。两者分工明确,谁也不替代谁。

论文里专门做了个消融实验验证这个机制到底有没有用。在"手机打包"任务、16台机器人的设置下,关掉失败引导检索(也就是不再精准匹配,而是从成功库里随机抽样训练),成功率从86.7%直接掉到64.2%,掉了22.5个百分点。

**这说明"精准定位该学什么"这件事,本身就贡献了超过五分之一的最终效果**

理论上这件事真的靠谱吗

光有实验结果还不够,论文还给了一段数学证明,想说明白为什么这套"失败引导检索"在理论上站得住脚。

核心结论浓缩成一句话:在合理假设下,用检索加权过的成功经验去微调,效果一定好于没有加权的随机采样,而没有加权的随机采样效果又好于什么都不做。

这背后用了两个关键量。一个叫μ(成功重放的对齐度),衡量的是"单纯学习成功经验"这件事本身是不是在往正确方向走;另一个叫κ(检索的额外贡献),衡量的是"按失败频率给成功经验加权"这件事额外带来了多少好处。

论文证明了一个很直观的结论:如果某个任务阶段失败率越高,那么检索机制给这个阶段分配的权重理应越高,这样做能带来正的额外收益(κ>0)。换句话说,哪里最容易翻车,就该在哪里多下功夫,这跟我们备考时专攻薄弱科目是一个道理。

这套理论推导给出的是一次更新的局部保证,不是说训练100轮之后依然必然更好,但它至少说明了这个设计思路在数学上不是拍脑袋想出来的。

当机器人也会"掉链子"的时候,系统该怎么办

讲完了"怎么学",还有一个同样棘手的问题没解决:"怎么让96台机器人、6台服务器组成的这套系统,在有机器人随时掉线的情况下还能正常运转"。

论文把这套支撑系统叫**FATS**(Fault-tolerant Asynchronous Training System,容错异步训练系统)。

为什么需要专门设计一套系统,而不是直接套用现成的分布式训练框架?因为机器人和GPU服务器的"脾气"完全不一样。

GPU服务器出故障,重启一下、重新加载模型参数就行,代价不大。但机器人不一样,机器人可能因为没电了要充电、因为网络断了要重连、因为关节碰到极限位置触发了保护,这些状况发生的频率比服务器故障高得多,而且发生之后,一旦处理不好,可能会拖累整个训练进度。

论文给出一个数字:在96台机器人的实际训练跑中,一共记录了30次故障事件,影响到22台机器人,平均每22分钟就有一次故障发生在某台机器人身上。

如果每次有机器人出故障,就把整个系统停下来重启,会发生什么?论文做了个对比测算:假设重启耗时2分钟,采用"全系统重启"策略的话,能收集到的经验量只有FATS实测效果的91.6%;如果重启耗时10分钟,这个比例会掉到68.5%。而且随着机器人数量增多,这个损失比例还会继续恶化,因为机器人越多,出故障的频率越高,每次全系统重启波及的范围也越大。

这就像一个大型呼叫中心,如果某个客服的电脑死机了,整个呼叫中心所有座席都要跟着重启一遍,这显然不现实。正确的做法应该是:死机的那台电脑单独重启,其他座席继续正常接听电话。

FATS正是这个思路。它把系统拆成两个部分:**数据平面**(SwarmLink)和**控制平面**(HotSwarm)。

数据平面负责机器人的观察数据怎么传到云端做推理、推理结果怎么传回来、完整的任务经验怎么拼装好交给训练模块。控制平面负责盯着谁掉线了、谁该被踢出去重启、重启后怎么无缝接回原来的位置。

这里有个很巧妙的设计叫**station(工位)和worker(工人)分离**:工位是固定的,比如某个物理机器人加上它所在的那个节点,这个工位在整个训练周期里一直存在;而工人是临时的进程,这个进程挂了,马上换一个新进程顶上同一个工位,旧的身份标识失效,新的接着干。

这个设计有个很实际的好处。假设一个机器人在执行动作的中途进程崩了,此时它的观察数据可能正排队等着云端给出动作指令。如果系统不做身份校验,新启动的替代进程很可能会收到属于"已经挂掉的旧进程"的那个过期指令,然后把这个过期动作当成自己的指令执行出去,这会导致机器人的动作和它当前的真实状态完全对不上。论文专门设计了身份校验机制,确保旧进程留下的任何数据(包括正在传输中的、队列里排队的),一旧新进程接管后立刻被识别并丢弃,绝不会被误用。

这就好比你换了手机号,但如果运营商没把旧号码的短信转发关掉,别人发给你旧号码的验证码,可能会被用旧号码的陌生人冒领。系统必须明确切断旧身份和新身份之间的任何数据通路,才能保证训练数据的干净。

实测效果如何?在故障事件发生前后10分钟内对比收集到的任务数量,中位数情况下,故障发生后10分钟内收集到的经验量是故障前的99%,最差的情况也有88%。换句话说,局部故障几乎没有拖慢整个系统的节奏,30次故障总共只损失了8.3个机器人小时,占整个训练过程660个机器人小时的1.3%。

五个任务,实打实的数字

说了这么多设计思路,最后还是要看实际效果。

论文选了五个真实世界的操作任务来验证:摆花、叠衣服、手机充电、凳子组装(含拧螺丝)、手机打包(十个步骤的多阶段任务)。这些任务覆盖了软体物体操作、精密对位、工具使用、多步骤流水线等不同的难点。

每个任务都在两台没有参与过训练数据采集的机器人上做了120次试验(每台60次),专门用来检验:**用一批机器人训练出来的策略,能不能迁移到完全没见过的机器人个体上**。这件事其实很重要,因为即便是同一型号的机器人,不同个体之间在硬件特性、标定精度上也会有细微差异,如果学出来的策略只对训练用的那几台机器人管用,那实际落地价值就要打很大折扣。

结果是这样的:

| 任务 | HG-DAgger起点 | FERT最终成功率 | 相对失败率降幅 |

|---|---|---|---|

| 摆花 | 98.3% | **99.2%** | 50.0% |

| 叠衣服 | 85.8% | **98.3%** | 88.2% |

| 手机充电 | 60.0% | **97.5%** | 93.8% |

| 凳子组装 | 80.8% | **93.3%** | 63.6% |

| 手机打包 | 79.2% | **98.3%** | 92.0% |

五个任务平均成功率从81.0%提升到97.3%,平均失败率下降了86.0%。

更有意思的是跟人类远程操控员的对比。论文让6名操作员每人做20次试验,结果FERT训练出来的策略在全部5个任务上都超过了人类操控员,平均领先16.7个百分点,在手机充电和手机打包任务上领先幅度甚至超过23个百分点。

这个结果有点反直觉:机器人靠自己的试错经验学出来的策略,最后比人类专业操作员做得还稳。但仔细想想也合理,人类操控员会疲劳、会分心,而且不同操作员水平差异很大(论文数据显示手机打包任务里,操作员之间成功率从25%到95%都有),而经过充分训练的自主策略,表现是稳定可复现的。

论文还对比了另外两种会用到人工纠正的方法:RLT(单机器人在线强化学习)和RECAP(基于多机器人数据的离线强化学习,这个方法继续用了人工纠正动作)。FERT在五个任务上全面超过这两者,平均领先分别是12.3和11.5个百分点。**这意味着FERT在完全不用新增人工纠正动作的前提下,反而比用了人工纠正动作的方法做得更好**。

机器人越多,是不是就一定越好

这是论文里一个挺值得玩味的发现。

研究团队专门做了个"扩展性实验":固定每台机器人的采集时间不变,只改变参与训练的机器人数量,看成功率怎么变化。

结果显示,对于HG-DAgger方法(靠人工纠正),机器人数量增加到一定程度后,效果会饱和甚至下滑,前面已经提过这个现象。

而对于FERT方法,总体趋势是机器人越多效果越好。手机打包任务从16台机器人扩展到96台,成功率从86.7%涨到98.3%,提升了11.6个百分点。

但这个趋势不是线性保证的。论文诚实地指出,在机器人数量较少的时候(比如8台),FERT有时反而比它的训练起点表现更差。论文给出的推测是,当机器人数量太少,收集到的成功经验种类不够丰富,没法覆盖到策略在各种失败场景下需要参考的"标准答案",这时候检索机制找不到真正相关的成功片段,反而可能起到干扰作用。

这其实是个挺朴素的道理:如果一个图书馆藏书太少,你想查某个冷门问题,大概率查不到对应的参考资料,这时候"检索"这个动作本身意义不大,甚至可能让你被一些不太相关的书误导。只有当藏书足够丰富,覆盖面足够广,检索机制才能真正发挥作用。

写在后面

读完这篇论文,有一个细节让我反复琢磨:FERT从始至终都没有引入一个"价值函数"(value function)去判断某个动作好不好,也没有像传统强化学习那样去估计"优势"(advantage)。

它用的是一套极其朴素的逻辑:失败只是用来"指路"的,不参与模型训练;成功才是真正拿来学的素材。

这跟我们熟悉的那套强化学习叙事不太一样。强化学习通常会想办法给每个动作打分,告诉模型"这个动作值多少",然后让模型往分高的方向走。但FERT绕开了这个打分环节,直接用"相似度匹配"代替了"价值评估",用检索这个相对简单、工程上更容易实现和调试的机制,去完成本该由复杂价值网络承担的任务。

这是个挺实用主义的选择。价值函数训练起来经常不稳定,尤其是在样本量不够大、任务阶段性强的场景里,容易学偏。而检索匹配这件事,只要编码器质量过关,出错的风险要小得多。

还有一点值得单独拿出来说:论文里提到,训练好的策略最后比参与对比的人类操控员表现更稳定、更好。这不是在说机器人比人强(这个结论下得有点早),而是在提醒我们一件事,人类在重复性极高、持续时间长的精细操作任务里,确实容易因为疲劳和分心掉链子,而一个经过大量数据反复打磨的策略,恰恰擅长应对这种"稳定重复"的场景。

这篇论文讨论的五个任务,用的都是同一个机器人平台、同一套硬件设置。更复杂的跨平台迁移、更长周期下策略怎么应对环境的持续变化,论文也坦承这些还没验证。

机器人团队能不能像一个真正的"集体"那样,把彼此踩过的坑变成所有人的经验,而不再依赖某个人类教练一个一个去纠正,这件事从工程上看已经初步成立了。接下来要回答的问题是,当机器人需要面对的不再是五个固定任务,而是层出不穷的新场景时,这套从失败里"反向查找"答案的机制,还能不能跟得上。

Q&A

Q1:CEL(集体经验学习)是什么?

A:CEL是论文提出的一种学习范式,让部署中的机器人把自己执行任务的经验共享出来,用于改进一个共用的策略,而不需要持续收集新的人类专家示范或纠正动作。

Q2:FERT方法具体是怎么让机器人自主进步的?

A:FERT用机器人失败执行前的观察画面去检索成功经验库里最相关的片段,给这些片段更高的训练优先级,用它们的真实动作作为学习目标,失败数据本身不参与模仿训练。

Q3:机器人数量越多,训练效果一定越好吗?

A:对FERT方法来说总体趋势是机器人越多效果越好,手机打包任务从16台到96台机器人成功率从86.7%提升到98.3%,但机器人数量太少时成功经验不够丰富,有时效果反而不如训练起点。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。