2023年前后,如果你去看那些能让机器人自己变聪明的方法,几乎都绕不开一件事:得有个人盯着。
机器人干活,干砸了,人得冲上去接管,手把手教它正确的做法,这叫"纠正式学习"。这套逻辑听起来挺合理,毕竟小孩学走路也是摔了大人扶一把。但问题是,当机器人的数量从1个变成100个的时候,这套逻辑就扛不住了。
你没法雇到100个老师同时盯着100个机器人干活。
这就是清华大学、智元机器人(AgiBot)和无问芯穹联合团队这篇论文想解决的事。他们管这个思路叫"集体经验学习"(Collective Experience Learning,简称CEL),直白点说就是:机器人自己干活产生的经验,能不能自己用起来,不用人天天盯着纠正?
**答案是可以,而且效果好到有点反常识**
在96台机器人协同训练的手机包装任务里,初始成功率只有79.2%,靠这套方法一路学上去,最后冲到了98.3%。换句话说,原来每5次任务就要失败1次,学完之后差不多每60次才失败1次。
这件事到底是怎么做成的,值得仔细拆一拆。
当"老师"跟不上"学生"数量的时候
先说说这个领域此前卡在哪儿。
机器人要干活,得先有个"底子",也就是一个由人类示范训练出来的初始策略。这个初始策略通常不够可靠,碰到物体形状变了、接触条件变了、甚至换了一台机器人本体,都可能翻车。尤其是那种需要连续完成好几个步骤的任务,比如把手机、充电线、说明书依次装进盒子里再合上盖子,前面一步出错,后面全崩。
**人工智能模型vision-language-action(VLA)**:一种把摄像头看到的画面、文字指令,直接翻译成机器人动作指令的模型,论文里用的是π0这款模型。
过去解决这个"底子不稳"问题的办法,基本都靠人工干预。一种叫HG-DAgger(人工门控数据集聚合),机器人在执行任务,人在旁边盯着,一旦发现机器人要出岔子,立刻接管,手把手纠正,这段纠正动作会被记录下来用于后续训练。另一种是在线强化学习,比如论文里对比的RLT方法,机器人一边干一边学,出错了靠人工打分或纠正。
这些方法都有用,论文里的数据也证明了这点:多机器人HG-DAgger把五个任务的平均成功率从36.3%拉到了81.0%,确实是实打实的进步。
但这里藏着一个很尴尬的拐点。
论文里观察到,当训练用的机器人数量超过某个规模后,HG-DAgger的效果开始**饱和甚至下滑**。在"电话充电"和"手机打包"这两个任务上,成功率涨到一定程度就不动了;在"凳子组装"任务上,机器人数量继续增加,成功率反而掉了下去。
为什么会这样?论文给出的推测是,人工监督和干预的能力跟不上了。
一个教练可以同时盯3个学员打网球,让他每个动作都纠正到位。但如果突然来了50个学员呢?教练的注意力被分散,纠正质量下降,甚至有些学员的错误动作根本来不及被发现,就已经练歪了。机器人训练面临的是同样的逻辑:人工干预质量和干预规模之间存在一个此消彼长的关系,机器人越多,每个机器人能分到的"优质纠正"反而越少。
这就是为什么研究团队要另辟蹊径,不再依赖"人盯着改",而是想办法让机器人自己产生的经验,变成自己进步的素材。
失败和成功,谁该教谁?
这里有个很直觉但其实不好办的问题:机器人干一次任务,最后只有一个"成功"或"失败"的标签,没有人告诉它具体哪一步做错了,也没人告诉它正确动作应该是什么。
这种只有结果反馈、没有具体纠正动作的信息,叫**二元结果标签**:一次任务执行完,只记录"做成了"或"没做成",不包含具体该怎么改的指导信息。
如果只用成功的轨迹去训练模型,模仿着学,会有个明显的盲点:所有成功案例看起来都差不多重要,但实际上,有些成功经验对当前策略的"短板"更有针对性,有些则没那么相关。好比你想提高跳投命中率,教练把你过去所有投篮视频都拿出来重播一遍,但其实你真正需要反复看的,是那些你刚好在三分线附近容易手型跑偏的镜头,而不是所有投篮画面平均分配注意力。
研究团队由此设计出了这套方法的核心机制,叫**失败引导的经验检索微调**(Failure-guided Experience Retrieval fine-Tuning,简称FERT)。
这个名字有点拗口,但逻辑很清楚:失败的执行记录不被用来模仿,而是被当作一把"钥匙",去成功经验库里找最相关的片段,然后让模型重点学这些被找出来的片段。
具体怎么操作?论文把它拆成四步。
**第一步:异步收集经验**
机器人在各自的节奏下不停地干活,每完成一次任务,系统记一个成功或失败的标签。成功的轨迹存进一个共享的"集体经验缓冲区",失败的轨迹不进缓冲区,只是临时拿来当"查询线索"。
这里的"异步"很关键,它意味着机器人们不需要同步步调,谁干完谁的经验就先进去,不用等最慢的那个。
**第二步:把经验变成可比较的数字**
机器人看到的画面、关节的姿态,这些原始数据没法直接拿来比对相似度,得先编码成向量。论文用了一个固定不变的视觉编码器(从VLA模型里冻结抽取出来的),把每个摄像头画面压缩成一组数字特征,再跟机器人的关节状态拼在一起,形成一个统一的"经验指纹"。
**编码器**:一种把图像、状态等原始信息转换成一串数字(向量)的神经网络模块,方便后续做相似度比较。
为什么要"冻结"编码器不让它跟着训练变化?因为如果编码器一直在变,那么昨天存进缓冲区的成功经验,和今天新失败的查询,用的"度量尺"就不是同一把了,没法公平比较。这就好比你要用同一把尺子量两段距离才有意义,如果尺子本身在热胀冷缩,量出来的数字就没法比。
**第三步:拿失败去"查"成功**
机器人失败前的最后一段观察(大约3秒的画面),被当作查询,拿去跟缓冲区里所有成功轨迹做时间对齐匹配。这里用的技术叫**S-DTW**(slope-constrained subsequence dynamic time warping,带坡度约束的子序列动态时间规整):一种允许两段时间序列存在步速差异但依然能对齐比较的算法,原本常用于语音识别里对齐语速不同的两段话。
匹配出来的是"代价最低"的几段成功轨迹片段,代价越低,说明这段成功经验跟当前失败场景越像。被匹配到的片段还会往前往后各扩展一小段,确保学到的不只是孤立的一帧,而是一段连贯的动作序列。
**第四步:让匹配到的片段获得更高的"被学习优先级"**
每次检索命中之后,对应的动作片段会获得一个"采样优先级"的加分,优先级越高,这段数据在后续训练中被抽到的概率就越大。同时这个优先级会随时间衰减,保证系统能跟上机器人最近的失败模式,而不是永远盯着几周前的老问题。
整个逻辑串起来就是:失败决定"该往哪使劲",成功提供"具体该怎么做"。两者分工明确,谁也不替代谁。
论文里专门做了个消融实验验证这个机制到底有没有用。在"手机打包"任务、16台机器人的设置下,关掉失败引导检索(也就是不再精准匹配,而是从成功库里随机抽样训练),成功率从86.7%直接掉到64.2%,掉了22.5个百分点。
**这说明"精准定位该学什么"这件事,本身就贡献了超过五分之一的最终效果**
理论上这件事真的靠谱吗
光有实验结果还不够,论文还给了一段数学证明,想说明白为什么这套"失败引导检索"在理论上站得住脚。
核心结论浓缩成一句话:在合理假设下,用检索加权过的成功经验去微调,效果一定好于没有加权的随机采样,而没有加权的随机采样效果又好于什么都不做。
这背后用了两个关键量。一个叫μ(成功重放的对齐度),衡量的是"单纯学习成功经验"这件事本身是不是在往正确方向走;另一个叫κ(检索的额外贡献),衡量的是"按失败频率给成功经验加权"这件事额外带来了多少好处。
论文证明了一个很直观的结论:如果某个任务阶段失败率越高,那么检索机制给这个阶段分配的权重理应越高,这样做能带来正的额外收益(κ>0)。换句话说,哪里最容易翻车,就该在哪里多下功夫,这跟我们备考时专攻薄弱科目是一个道理。
这套理论推导给出的是一次更新的局部保证,不是说训练100轮之后依然必然更好,但它至少说明了这个设计思路在数学上不是拍脑袋想出来的。
当机器人也会"掉链子"的时候,系统该怎么办
讲完了"怎么学",还有一个同样棘手的问题没解决:"怎么让96台机器人、6台服务器组成的这套系统,在有机器人随时掉线的情况下还能正常运转"。
论文把这套支撑系统叫**FATS**(Fault-tolerant Asynchronous Training System,容错异步训练系统)。
为什么需要专门设计一套系统,而不是直接套用现成的分布式训练框架?因为机器人和GPU服务器的"脾气"完全不一样。
GPU服务器出故障,重启一下、重新加载模型参数就行,代价不大。但机器人不一样,机器人可能因为没电了要充电、因为网络断了要重连、因为关节碰到极限位置触发了保护,这些状况发生的频率比服务器故障高得多,而且发生之后,一旦处理不好,可能会拖累整个训练进度。
论文给出一个数字:在96台机器人的实际训练跑中,一共记录了30次故障事件,影响到22台机器人,平均每22分钟就有一次故障发生在某台机器人身上。
如果每次有机器人出故障,就把整个系统停下来重启,会发生什么?论文做了个对比测算:假设重启耗时2分钟,采用"全系统重启"策略的话,能收集到的经验量只有FATS实测效果的91.6%;如果重启耗时10分钟,这个比例会掉到68.5%。而且随着机器人数量增多,这个损失比例还会继续恶化,因为机器人越多,出故障的频率越高,每次全系统重启波及的范围也越大。
这就像一个大型呼叫中心,如果某个客服的电脑死机了,整个呼叫中心所有座席都要跟着重启一遍,这显然不现实。正确的做法应该是:死机的那台电脑单独重启,其他座席继续正常接听电话。
FATS正是这个思路。它把系统拆成两个部分:**数据平面**(SwarmLink)和**控制平面**(HotSwarm)。
数据平面负责机器人的观察数据怎么传到云端做推理、推理结果怎么传回来、完整的任务经验怎么拼装好交给训练模块。控制平面负责盯着谁掉线了、谁该被踢出去重启、重启后怎么无缝接回原来的位置。
这里有个很巧妙的设计叫**station(工位)和worker(工人)分离**:工位是固定的,比如某个物理机器人加上它所在的那个节点,这个工位在整个训练周期里一直存在;而工人是临时的进程,这个进程挂了,马上换一个新进程顶上同一个工位,旧的身份标识失效,新的接着干。
这个设计有个很实际的好处。假设一个机器人在执行动作的中途进程崩了,此时它的观察数据可能正排队等着云端给出动作指令。如果系统不做身份校验,新启动的替代进程很可能会收到属于"已经挂掉的旧进程"的那个过期指令,然后把这个过期动作当成自己的指令执行出去,这会导致机器人的动作和它当前的真实状态完全对不上。论文专门设计了身份校验机制,确保旧进程留下的任何数据(包括正在传输中的、队列里排队的),一旧新进程接管后立刻被识别并丢弃,绝不会被误用。
这就好比你换了手机号,但如果运营商没把旧号码的短信转发关掉,别人发给你旧号码的验证码,可能会被用旧号码的陌生人冒领。系统必须明确切断旧身份和新身份之间的任何数据通路,才能保证训练数据的干净。
实测效果如何?在故障事件发生前后10分钟内对比收集到的任务数量,中位数情况下,故障发生后10分钟内收集到的经验量是故障前的99%,最差的情况也有88%。换句话说,局部故障几乎没有拖慢整个系统的节奏,30次故障总共只损失了8.3个机器人小时,占整个训练过程660个机器人小时的1.3%。
五个任务,实打实的数字
说了这么多设计思路,最后还是要看实际效果。
论文选了五个真实世界的操作任务来验证:摆花、叠衣服、手机充电、凳子组装(含拧螺丝)、手机打包(十个步骤的多阶段任务)。这些任务覆盖了软体物体操作、精密对位、工具使用、多步骤流水线等不同的难点。
每个任务都在两台没有参与过训练数据采集的机器人上做了120次试验(每台60次),专门用来检验:**用一批机器人训练出来的策略,能不能迁移到完全没见过的机器人个体上**。这件事其实很重要,因为即便是同一型号的机器人,不同个体之间在硬件特性、标定精度上也会有细微差异,如果学出来的策略只对训练用的那几台机器人管用,那实际落地价值就要打很大折扣。
结果是这样的:
| 任务 | HG-DAgger起点 | FERT最终成功率 | 相对失败率降幅 |
|---|---|---|---|
| 摆花 | 98.3% | **99.2%** | 50.0% |
| 叠衣服 | 85.8% | **98.3%** | 88.2% |
| 手机充电 | 60.0% | **97.5%** | 93.8% |
| 凳子组装 | 80.8% | **93.3%** | 63.6% |
| 手机打包 | 79.2% | **98.3%** | 92.0% |
五个任务平均成功率从81.0%提升到97.3%,平均失败率下降了86.0%。
更有意思的是跟人类远程操控员的对比。论文让6名操作员每人做20次试验,结果FERT训练出来的策略在全部5个任务上都超过了人类操控员,平均领先16.7个百分点,在手机充电和手机打包任务上领先幅度甚至超过23个百分点。
这个结果有点反直觉:机器人靠自己的试错经验学出来的策略,最后比人类专业操作员做得还稳。但仔细想想也合理,人类操控员会疲劳、会分心,而且不同操作员水平差异很大(论文数据显示手机打包任务里,操作员之间成功率从25%到95%都有),而经过充分训练的自主策略,表现是稳定可复现的。
论文还对比了另外两种会用到人工纠正的方法:RLT(单机器人在线强化学习)和RECAP(基于多机器人数据的离线强化学习,这个方法继续用了人工纠正动作)。FERT在五个任务上全面超过这两者,平均领先分别是12.3和11.5个百分点。**这意味着FERT在完全不用新增人工纠正动作的前提下,反而比用了人工纠正动作的方法做得更好**。
机器人越多,是不是就一定越好
这是论文里一个挺值得玩味的发现。
研究团队专门做了个"扩展性实验":固定每台机器人的采集时间不变,只改变参与训练的机器人数量,看成功率怎么变化。
结果显示,对于HG-DAgger方法(靠人工纠正),机器人数量增加到一定程度后,效果会饱和甚至下滑,前面已经提过这个现象。
而对于FERT方法,总体趋势是机器人越多效果越好。手机打包任务从16台机器人扩展到96台,成功率从86.7%涨到98.3%,提升了11.6个百分点。
但这个趋势不是线性保证的。论文诚实地指出,在机器人数量较少的时候(比如8台),FERT有时反而比它的训练起点表现更差。论文给出的推测是,当机器人数量太少,收集到的成功经验种类不够丰富,没法覆盖到策略在各种失败场景下需要参考的"标准答案",这时候检索机制找不到真正相关的成功片段,反而可能起到干扰作用。
这其实是个挺朴素的道理:如果一个图书馆藏书太少,你想查某个冷门问题,大概率查不到对应的参考资料,这时候"检索"这个动作本身意义不大,甚至可能让你被一些不太相关的书误导。只有当藏书足够丰富,覆盖面足够广,检索机制才能真正发挥作用。
写在后面
读完这篇论文,有一个细节让我反复琢磨:FERT从始至终都没有引入一个"价值函数"(value function)去判断某个动作好不好,也没有像传统强化学习那样去估计"优势"(advantage)。
它用的是一套极其朴素的逻辑:失败只是用来"指路"的,不参与模型训练;成功才是真正拿来学的素材。
这跟我们熟悉的那套强化学习叙事不太一样。强化学习通常会想办法给每个动作打分,告诉模型"这个动作值多少",然后让模型往分高的方向走。但FERT绕开了这个打分环节,直接用"相似度匹配"代替了"价值评估",用检索这个相对简单、工程上更容易实现和调试的机制,去完成本该由复杂价值网络承担的任务。
这是个挺实用主义的选择。价值函数训练起来经常不稳定,尤其是在样本量不够大、任务阶段性强的场景里,容易学偏。而检索匹配这件事,只要编码器质量过关,出错的风险要小得多。
还有一点值得单独拿出来说:论文里提到,训练好的策略最后比参与对比的人类操控员表现更稳定、更好。这不是在说机器人比人强(这个结论下得有点早),而是在提醒我们一件事,人类在重复性极高、持续时间长的精细操作任务里,确实容易因为疲劳和分心掉链子,而一个经过大量数据反复打磨的策略,恰恰擅长应对这种"稳定重复"的场景。
这篇论文讨论的五个任务,用的都是同一个机器人平台、同一套硬件设置。更复杂的跨平台迁移、更长周期下策略怎么应对环境的持续变化,论文也坦承这些还没验证。
机器人团队能不能像一个真正的"集体"那样,把彼此踩过的坑变成所有人的经验,而不再依赖某个人类教练一个一个去纠正,这件事从工程上看已经初步成立了。接下来要回答的问题是,当机器人需要面对的不再是五个固定任务,而是层出不穷的新场景时,这套从失败里"反向查找"答案的机制,还能不能跟得上。
Q&A
Q1:CEL(集体经验学习)是什么?
A:CEL是论文提出的一种学习范式,让部署中的机器人把自己执行任务的经验共享出来,用于改进一个共用的策略,而不需要持续收集新的人类专家示范或纠正动作。
Q2:FERT方法具体是怎么让机器人自主进步的?
A:FERT用机器人失败执行前的观察画面去检索成功经验库里最相关的片段,给这些片段更高的训练优先级,用它们的真实动作作为学习目标,失败数据本身不参与模仿训练。
Q3:机器人数量越多,训练效果一定越好吗?
A:对FERT方法来说总体趋势是机器人越多效果越好,手机打包任务从16台到96台机器人成功率从86.7%提升到98.3%,但机器人数量太少时成功经验不够丰富,有时效果反而不如训练起点。







