Token导航 LogoToken导航

AI 资讯 · 科技行者

机器人学三个动作能否自主组合第四个动作

更新 2026-11-11科技行者正文 5960字阅读约 19分钟

你有没有想过这样一个问题:一个机器人学会了"捡起杯子"和"打开抽屉"这两件事之后,它能不能自己推理出"把杯子放进抽屉里再关上"这种它从没练习过的组合动作?

这听起来像是常识,人类孩子两三岁就能做到。但如果你去翻一翻现在的具身智能(也就是能在物理世界里行动的AI系统)研究会发现,这件事其实一直没人认真测过。来自北京大学、北京通用人工智能研究院和香港大学的研究团队盯上了这个空白,搞出了一个叫EmbodiedCLBench的评测基准,专门用来回答这个问题。

**核心问题出在哪**

先说清楚这个领域现在卡在哪里。

持续学习*:指模型或智能体能够不断从过去的经验中积累知识,并把这些知识用到新任务上的能力,而不是每次遇到新任务都从零开始。

这个概念本身不新,但过去的研究基本都发生在"非具身"环境里。什么意思?就是研究对象是纯文本的问答系统、代码生成模型,或者是在数字世界里点点鼠标的网页自动化智能体。这些环境有个共同点:它们不需要处理三维空间、物理碰撞、视角变化这些麻烦事。

而具身智能评测这边呢,情况恰恰相反。已经有大量基准测试机器人的场景理解能力、导航能力、抓取操作能力,但这些测试基本都是"一次性"的,你让机器人做一个任务,看它做得好不好,没人问过"如果它之前做过别的相关任务,会不会做得更好"。

这就好比你想考察一个厨师能不能举一反三,但考试题库里全是独立菜品,从来没出现过"你学会了炒青菜和煮米饭,现在给你一份没做过的盖浇饭"这种题型。研究者们意识到,这个"举一反三"的能力,恰恰是机器人要在真实家庭、真实工厂里长期自主运作的核心前提,可现有的测试体系里压根找不到对应的考题。

**用组合泛化当尺子**

研究团队想出的办法是:用组合泛化这个概念,把"持续学习能力"变成一个可以量化测量的东西。

组合泛化*:指模型把已经学会的若干个基本技能元素重新拼接组合,去解决一个从没见过的新任务的能力。

这个设计思路其实挺巧妙的。持续学习本身是个很抽象的词,你没法直接给它打分。但如果你换个角度:让智能体先去做一批简单任务,攒点经验,再让它去挑战一批没见过的复杂任务,看它能不能把简单任务里学到的东西用上,这就变成了一个可操作、可打分的流程。

具体到基准里,任务被切成了三个层级。最底层叫原子动作,就是单次的物体交互,比如"捡起杯子",它本身还可以拆成走过去、看一眼、拿起来这三个步骤。往上一层是基础任务,把两三个原子动作串成一个实际的家务操作,比如"把杯子放到桌上"。最顶层是高级任务,组合更多原子动作,比如"整理房间"要求你先捡起书放到书架上,再关上柜子,还要把灯关掉。

这里有个细节值得多说一句。高级任务不是随便拼凑的,它的原子动作会跨越两到四个不同的基础任务类别。这个设计是故意的,目的就是逼着智能体必须真正理解不同技能之间怎么组合,而不是单纯记住了某一类任务的套路就能蒙混过关。

如果你不这样设计会怎样?假设高级任务和基础任务用的都是同一个类别的技能,那智能体很可能只是在做简单的模式匹配,看到相似场景就套用相似动作,这根本测不出它有没有真正学会迁移知识。就像如果考试只考课本里原题的变体,你永远分不清学生是真的理解了,还是单纯背熟了解题套路。

**离线的状态转移图:把仿真世界"拍扁"成可复用的数据**

研究团队选用的仿真平台叫TongSim,一个支持丰富物理交互的室内家居场景仿真器。

TongSim*:由北京通用人工智能研究院开发的通用智能体仿真平台,支持多种室内场景、51类物体和7种可执行动作,闭源版本比开源版本功能更丰富。

但这里出现了一个工程难题:闭源版本功能虽强,却没法拿来做大规模在线实时评测,跑不动那么多智能体反复交互。研究团队的解法是把每个任务提前"录制"成一张状态转移图。

状态转移图*:把一个任务的执行过程表示成一张图,图上每个节点代表环境中的一个具体状态(比如"靠近柜子且看着台灯"),节点之间的连边代表一个可执行的动作,走完整条路径就等于完成了任务。

每个节点都配了一张从TongSim里实际截取的第一人称视角图片,以及几个候选动作选项。评测的时候,智能体看图选动作,选完就跳到下一个节点,全程不需要真的去跑仿真器。

这个设计的好处显而易见:评测可以完全离线、并行运行,不用反复启动笨重的仿真环境;研究者还能通过控制图的分支数量和深度,精确调节任务难度;更重要的是,因为每一步决策都能对照着提前算好的最优路径去检查,研究者可以做非常细粒度的行为分析,精确知道智能体在哪一步犯了什么类型的错误。

这就像是把一场体育比赛提前拆解成逐帧的剧本和分镜,而不是每次都要重新组织一整支球队到真实球场上比赛。如果没有这张图,你每次想知道智能体某个决策对不对,都得重新跑一遍完整仿真,既慢又没法精确定位问题出在第几步。有了图,评测效率和诊断精度都上了一个台阶。

图里的候选动作还特意设计成三种类型:跟着最短路径走的最优动作,能执行但绕远路的次优动作,以及在当前状态下根本执行不了的无效动作。这个三分类后面会在错误分析里派上大用场。

**三种学习方式的较量**

研究团队设计了三种评测场景来对比智能体的表现。

零样本*:指智能体没有任何学习阶段,直接上手完成基础任务或高级任务。

情境学习*:学习阶段让智能体先完成两个相关的基础任务,测试阶段把这两个任务的完整交互轨迹都保留在上下文里,让智能体参考着做。

技能学习*:学习阶段同样完成两个基础任务,但不是把完整轨迹塞进上下文,而是让智能体自己把经验总结成一份简洁的技能摘要,测试阶段只给这份摘要。

实验覆盖了四种智能体框架,分别是OpenClaw、Claude Code、Codex和Hermes,每种框架又搭配了两个不同的底层大模型。

结果摆出来挺直观的。零样本情况下,智能体做基础任务的成功率大概在50%左右,说明简单家务对现在的AI来说不算太难。但一旦换成高级任务,零样本成功率直接跳水到10%左右,有的框架甚至只有3%到5%。这就验证了高级任务确实是真的难,不是随便凑数的。

而一旦给了经验,情况完全变了。无论是情境学习还是技能学习,高级任务的成功率都能冲到30%以上,像Hermes配Qwen3.8-Flash这个组合,用情境学习之后成功率直接从8%跳到44%。这个提升在所有四种框架上都稳定出现,说明基础任务里攒下的经验,确实能迁移到没见过的高级任务上去。

不过有意思的是,情境学习和技能学习两种方式之间没有谁明显更强,胜负不固定。研究者猜测这两种方式可能各自抓住了经验里不同的有效信息,一个是靠完整轨迹的细节,一个是靠总结后的精炼要点,各有各的用法。

| 框架 | 模型 | 基础任务零样本 | 高级任务零样本 | 情境学习 | 技能学习 |

|---|---|---|---|---|---|

| Hermes | Qwen3.8-Flash | 58.9 | 8.0 | **44.0** | 33.0 |

| Hermes | GPT5.6-Terra | 53.0 | 11.0 | 16.0 | **34.0** |

| OpenClaw | Qwen3.8-Flash | 50.6 | 5.0 | 35.0 | **38.0** |

| OpenClaw | GPT5.6-Terra | 47.6 | 12.0 | **39.0** | 22.0 |

| Codex | Qwen3.8-Flash | 52.4 | 4.0 | 34.0 | 33.0 |

| Codex | GPT5.6-Terra | 54.8 | 11.0 | **52.0** | 26.0 |

| Claude Code | Qwen3.8-Flash | 42.9 | 3.0 | **27.0** | 31.0 |

| Claude Code | GPT5.6-Terra | 51.8 | 9.0 | **31.0** | 25.0 |

**任务越难,经验的价值就越低吗**

这是研究团队提出的第二个问题:随着高级任务要组合的原子动作数量从3个增加到6个,持续学习带来的好处会不会被稀释掉?

直觉上你可能会觉得,任务越复杂,需要组合的元素越多,智能体出错的机会就越多,之前积累的经验帮助应该也会打折扣。

但实际数据讲了一个不太一样的故事。零样本成功率确实随着复杂度增加急剧下滑,从3个原子动作时的28%一路跌到6个原子动作时的4%,几乎是断崖式的。但情境学习和技能学习相对零样本的"增益",也就是用了经验之后比不用经验多出来的那部分成功率,却基本稳定在30%左右,没有跟着明显下滑。

换句话说,哪怕任务难到零样本智能体几乎碰都碰不到(4%的成功率),有经验的智能体依然能把成功率拉到32%左右。这就好比一个新手厨师独立做复杂的八道菜宴席几乎必然失败,但如果他之前哪怕只是认真练过两道相关的菜,他能稳定地比完全没练过的新手多做出三成的菜品,无论宴席规模是扩大到十道菜还是十二道菜,这个相对优势都不会消失。经验带来的提升似乎并不随着任务难度的增加而被"稀释",它更像是一种相对稳定的底层能力加成。

**一次经验就够了?更多经验反而没用**

这是整篇论文里我觉得最反直觉的一个发现。

按照常理推测,持续学习的核心假设应该是"经验越多越好",这几乎是这个研究方向存在的根本逻辑前提。但研究团队把学习阶段的基础任务数量从0个一路加到6个之后发现,事情完全不是这样。

最大的跃升发生在从0个样本到1个样本之间。只学1个基础任务,成功率就能从8%到10%猛涨到28%到40%,这一步几乎吃掉了整个提升空间的大头。可一旦过了这个点,往2个、3个、4个、5个、6个样本继续加,成功率曲线就开始上蹿下跳,看不出任何稳定的上升趋势,四条曲线没有一条表现出持续增长的规律。

这说明了什么?现在的智能体似乎只能从"有没有经验"这个二元状态里获益,而没法从"经验的多少"里提取出更细致的增量信息。

打个比方,这就像一个人第一次学骑自行车,摔了一次之后突然就掌握了平衡的感觉,但你让他接着摔十次,他的骑车水平并不会因此继续提高十倍,因为他大脑里需要的关键信息在第一次摔倒时就已经抓到了,后面的重复摔倒提供的是冗余信息,而不是新知识。如果真正可扩展的持续学习是可能的,成功率理应随着样本数量稳步爬升,但现实是曲线在第一个样本之后就陷入了混乱的平台期,这暴露出现在的智能体并不具备真正"越学越强"的能力,它们可能只是学到了"有没有相关经验这件事本身",而没学到"经验里具体有哪些可以逐步积累的细节"。

**经验到底改变了什么:少犯"不可能"的错误**

既然知道经验有用,那它具体是怎么起作用的?研究团队做了一个挺细致的拆解。

前面提到,图上每个候选动作分三种类型:最优动作、可执行但绕远的次优动作,还有根本执行不了的无效动作。研究者统计了智能体在零样本和有经验两种情况下,分别选这三类动作的比例变化。

结果显示,有了经验之后,智能体选无效动作的比例大幅下降,降幅在13%到20%之间,同时选最优动作的比例明显上升,次优动作也有小幅增加。这个趋势在所有四个框架上都一致。

这个发现挺关键的,它告诉我们经验起作用的机制不是让智能体变得更聪明地去"规划最短路径",而更像是让智能体先学会了"哪些事在当前场景下根本做不了"。减少无效动作,意味着智能体能更顺畅地走在一条可执行的路径上,更容易在步数预算耗尽之前抵达终点。

这就像是你带一个从没进过厨房的人第一次做饭,他可能会尝试把冷冻的肉直接放进烤箱而不解冻,或者在锅没预热时就倒油,这些举动不是"方向错了",而是压根不符合物理操作规律。如果他之前哪怕只观察过一次别人做饭,他至少会知道这些事行不通,从而把精力留给真正需要判断的步骤,比如火候和调味。经验先帮你排除掉了那些根本走不通的岔路,再谈怎么走最优路径。

另外一个细节是,情境学习带来的这种行为转变幅度,普遍比技能学习更大。研究者推测这可能跟经验的呈现形式有关,完整的交互轨迹更容易让智能体复制具体的操作模式,而总结后的技能摘要信息更凝练,改变幅度相对克制但更聚焦。

**给点容错空间,经验的优势会放大**

论文还测了一个工程细节:如果把允许超出最短路径的步数预算放宽,结果会怎样变化。

默认设置是测试阶段允许比最短路径多走3步作为容错,学习阶段允许多走6步方便探索。研究团队把这个容错步数从0一路调到6,观察三种设置下成功率的变化曲线。

三条曲线都是单调上升的,这不意外,预算越宽松,智能体犯错的机会成本越低。但有意思的是,在最严苛的0步容错下,零样本成功率直接是0%,而情境学习和技能学习依然能分别做到15%和7%。哪怕宽松到6步容错,零样本和有经验智能体之间的差距依然很大,没有被"抹平"。

这说明什么?单纯放宽容错步数,并不能替代经验本身的作用。你给一个完全没有相关背景知识的人再多的时间,他可能依然在做无意义的尝试;而有经验的人哪怕时间紧,也能更快找到正确的方向。预算宽松度和经验积累,解决的是两个不同维度的问题,一个管"容不容许犯错",一个管"知不知道往哪走",两者不能互相替代。

**写在后面**

读完这篇论文,最让我反复琢磨的其实是那个"一次经验就够了,但更多经验没用"的发现。这个结果某种程度上颠覆了我对"持续学习"这个词的默认想象,我原本以为持续学习的价值就应该体现在一条持续上扬的曲线上,越积累越强。但现在这些基于大语言模型的智能体展现出来的,更像是一种"开关式"的能力获取,有没有踩过门槛是关键,踩过之后的量变反而没有带来质变。

这让我联想到人类学习里一个类似但不完全相同的现象:有些技能确实存在"顿悟式"学习,一旦理解了核心原理,后续的重复练习带来的边际收益会迅速递减,除非你开始接触结构完全不同的新情境。那现在的问题是,这些智能体之所以榨不出额外信息,究竟是因为底层大模型本身的上下文整合能力有限,还是因为基准里提供的那几个基础任务彼此太相似,信息本身就有冗余?这篇论文没有回答这个问题,但它至少把这个盲区清清楚楚地摆在了桌面上,让后面的人知道该往哪个方向继续挖。

如果连续学十次都没法让一个AI机器人变得更会整理房间,那真正让它"学会学习"所缺的那一块,到底藏在哪里?

Q&A

Q1:EmbodiedCLBench是什么?

A:EmbodiedCLBench是北京大学等机构提出的首个具身仿真持续学习评测基准,用来测试AI智能体能否把从简单家务任务中学到的技能,组合迁移到没见过的复杂任务上。

Q2:智能体学习经验越多,表现是不是就越好?

A:不是。实验发现只学1个基础任务就能让成功率大幅跃升,但继续增加学习样本数量后,成功率不再稳定提升,说明目前的智能体无法从额外经验中持续提取有效信息。

Q3:有经验的智能体和零样本智能体相比,具体在哪里表现更好?

A:有经验的智能体选择无效动作的比例明显下降(降幅13%到20%),同时更多选择最优路径上的动作,说明经验主要帮它排除了不可执行的错误选项,而不是单纯让规划更聪明。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。