Token导航 LogoToken导航

AI 资讯 · 机器之心

华为诺亚登顶BEHAVIOR-1K 2026具身智能挑战赛

更新 2026-11-14机器之心正文 6817字阅读约 22分钟11 张图片
机器之心发布

华为诺亚具身智能团队 The North Star 凭借 HiPhys-RSI 方案,在 BEHAVIOR-1K Challenge 2026 国际具身智能挑战赛中从全球 57 支参赛团队中脱颖而出,以绝对优势夺得冠军,在覆盖 100 项家庭任务的隐藏测试中取得约 0.683 的 Q-score 和 48.2% 的完整任务成功率。

本届赛事为第二届挑战赛,依托斯坦福大学李飞飞团队开发的 BEHAVIOR-1K 基准平台,与机器人领域顶级会议 CoRL 2026(11 月 9 日至 12 日)联动开展,围绕整理、清洁等真实家庭需求,综合评测机器人的高层推理、跨房间导航与双臂精细操作能力。

李飞飞本人也在社交媒体发帖称,机器人学习正在取得令人瞩目的进展,并邀请更多研究者关注 CoRL 2026 的 BEHAVIOR Challenge。

图片

图片

与去年相比,2026 年挑战赛在多个维度实现显著跃升:基准规模扩大 2 倍(任务从 50 项增至 100 项、场景从 3 个增至 7 个),参与度提升 3 倍(参赛者从 96 人增至 265 人、参赛提交从 18 份增至 57 份)。同时,最佳完整任务成功率从 12% 提升至 48%,达到上一届的 4 倍。

作为检验具身智能系统综合能力的高门槛 “试金石”,BEHAVIOR-1K 聚焦长时序任务,与侧重场景泛化的 Robodojo 并列 T0 级具身智能榜单。相较于短时抓取和单一技能评测,该挑战要求机器人依靠机载视觉、深度及本体感知信息,在数分钟级长时序任务中连续完成多物体交互、状态变化处理与多技能协同,对任务规划、感知与动作协同及执行稳定性提出严苛要求。

图片

12 个任务成功 rollout。

要应对这类长时序、多技能协同的复杂挑战,当前业界仍主要沿用 AI 领域最熟悉的 Scaling 路径,即更大的模型、更多的数据、更高的计算投入。

AI 发展中还有另一条能力增长路径:积累知识、规则和操作流程,让系统掌握可推理、组合和执行的方法。早期符号 AI 长期探索这一路径,机器人领域也积累了丰富的感知、规划与控制工具。

当大模型已经能够编写程序、使用工具,并根据执行结果修改方案,这两条路径之间,是否出现了新的连接?

团队在冠军方案技术报告《Scaling by Structure: What Forms Can Scaling Take in Embodied AI?》中,提出了一个更广义的 Scaling 问题:具身智能能否通过构建和改进结构化、可执行的知识与技能,持续扩展能力?

图片

这项工作将可执行程序及其背后的工具、约束和经验,作为能力积累的载体。编程智能体构建、检验和改进这些结构,机器人通过它们完成任务,产生的轨迹又支持视觉 — 语言 — 动作模型(VLA)训练。

让 “系统掌握了多少可执行技能”,也成为具身智能能力增长的一个维度。

经典机器人方法,

如何走向可扩展的知识体系?

机器人领域已经拥有大量有效方法。几何推理处理空间关系和碰撞,SLAM 支持定位与建图,任务与运动规划连接逻辑决策和动作可行性,反馈控制不断纠正执行误差。

这些方法各有适用条件。用于不同任务和环境时,需要组织信息流、连接模块接口、设计操作顺序,并根据物体几何和场景约束调整策略。场景变化后,原有流程可能需要新的抓取方式、动作顺序或恢复机制。

这也构成了结构化机器人系统扩展能力时的关键瓶颈:随着任务增加,构建和维护解决方案所需的人工投入也在增长。

编程智能体提供了自动化承担其中一部分工作的可能。它可以读取执行日志、分析视频、定位失败、修改工具与程序,再运行验证。有效的改进被保留下来,成为后续任务可以调用和调整的知识。

由此,泛化也多了一层含义:系统可以利用已有工具和经验,为新任务构建、适配解决方案。

这种能力的扩展潜力,既取决于覆盖的任务数量,也取决于每增加一项任务所需的工程与交互成本。报告通过实验考察了这两方面。

HiPhys-RSI:把交互经验变成可执行结构

团队提出 Hierarchical Physical Recursive Self-Improvemen (HiPhys-RSI),即分层物理递归自我改进框架。它以参数冻结的编程智能体及视觉语言模型(VLM)为基础,在训练实例中构建并改进自主执行的机器人流水线。

图片

图 1|HiPhys-RSI 总体框架。智能体通过任务体验、程序构建、执行分析和迭代改进积累可执行知识;推理时根据任务条件选择已有流水线或 VLA 策略。(报告图 1)

首先,智能体阅读任务说明与参考示范,并通过工具调用获得交互经验:哪些操作有效,步骤之间有哪些依赖,什么样的观测能够说明任务取得进展。

随后,这些经验被组织成程序。感知输出如何用于规划、控制器何时执行、失败后如何处理,都通过明确的信息流和条件逻辑连接起来。构建完成的流水线可以根据自身的检查和分支逻辑自主执行。

执行结果再进入下一轮分析。日志说明程序调用了什么,视频揭示物理世界实际发生了什么:轨迹执行完毕,物体是否真的移动到位?抓取指令返回成功,物体是否仍然留在桌面?智能体结合这些证据,定位需要修改的模块和策略。

改进既可以发生在高层的工具选择、步骤编排和恢复逻辑,也可以深入到底层工具实现。构建阶段还可以引入人工纠正,为复杂问题提供指导。经过验证的程序与经验被保留,并能够作为后续任务的可复用组件。

同一案例的真实迭代记录,包含失败现象、修改内容和再次执行结果;注明人工参与环节。

在这一过程中,编程智能体和 VLM 的参数保持冻结,改进存储在可执行程序和结构化知识中。最终系统通过能力卡记录各流水线和 VLA 的适用条件、历史表现及已知困难,在推理时选择合适的执行组件。

从工具,到流程,再到可以复用和组合的流程,结构化知识得以逐层积累。

100 项家庭任务,比较两种能力增长方式

团队在 BEHAVIOR-1K 的复杂家庭仿真环境中研究这条路径。评测覆盖 100 项任务、八类能力,涉及移动取物、摆放与分类、精细操作、工具使用、倾倒、设备操作以及物体加工。

这些任务需要持续协调感知、决策和动作。找到目标后能否接近,抓稳物体后能否搬运,完成一步后能否继续下一步,都会影响最终结果。

团队以 2025 年 BEHAVIOR Challenge 冠军方案为基础,适配并比较三组 VLA 设置:在全部 100 项任务的示范数据上联合训练一个 epoch(Meta-1-Epoch);从该检查点出发进行逐任务后训练(Per-Task Post-Training);以及在相同的全任务示范数据上联合训练两个 epoch(Meta-2-Epochs)。一个 epoch 指完整遍历一轮训练数据。

逐任务后训练将基准示范与程序生成的轨迹混合,为每项任务训练独立策略,并引入深度、相对机器人位置的几何信息等三维输入。因此,其效果同时涉及任务适配、数据补充与表征变化。三组 VLA 既作为单独执行任务的对照,也作为最终系统推理时可选择的策略。

图片

图 2|三组 VLA 与 HiPhys-RSI 的 100 项任务表现对比。每根径向柱代表一项任务得分;A–H 依次对应移动取物、一般摆放、匹配放置、精细操作、工具使用、倾倒、设备操作和物体加工。(技术报告图 2)

在报告的实验中,HiPhys-RSI 最终混合系统在几乎所有任务上取得了高于所比较 VLA 方案的得分,优势覆盖全部八类任务。

不同 VLA 设置体现了训练方式的作用。在当前配置下,额外一个 epoch 的全任务联合训练带来的增益相对有限;逐任务后训练提高了部分任务表现,但各类别的能力强弱分布总体仍然保留。这些结果反映的是本次实验条件下各配置的表现。

结构化系统则通过显式分工处理这些任务要求:感知与建图模块提供场景信息,程序组织任务逻辑和约束,专门的规划与控制方法完成动作。编程智能体根据反馈调整它们的组合与实现,使已有机器人知识能够适应更多任务条件。

实验将 Scaling 的讨论扩展到整个系统:训练如何增加策略能力,结构又如何组织和扩展已有能力。

结构如何 Scale:从能力组合,到策略发现

最终得分之外,一个更关键的问题是:结构化知识的增长过程是什么样的?

图片

图 3|流水线改进过程。左:整体任务得分随迭代变化;中:各任务需要的迭代次数;右:不同技能在流水线中的使用频率。(报告图 3)

报告中的曲线呈现出三个阶段:早期快速提升,随后进入平台期,再通过持续探索取得一定增益。

早期增长主要来自能力组合。许多问题可以通过修正工具配置、执行顺序和模块协同解决。原本已经具备的能力被有效组织起来,系统便能覆盖大量任务。

当这些问题逐渐解决,剩余任务需要更深入的策略探索。继续调整原有方案的参数,收益可能已经有限;新的进展开始依赖不同的接触方式、准备动作和操作顺序。部分后期增益来自发现参考示范中没有出现的、更稳定的操作办法。

Task 38,优先提供原策略与改进策略的真实对照,突出接触方式、准备动作和操作顺序的变化。

平台期因此可能标志着改进方式的变化:从把已有能力接好,走向探索新的解法。

结构化 Scaling 因而同时涉及通用能力的复用,以及特殊瓶颈的突破。覆盖更多困难任务所需的投入,可能比任务数量增长得更快,如何分配改进预算也随之成为重要问题。

结构能否迁移,进一步改进又受什么限制?

隐藏评测检验程序能否迁移到开发之外的新实例。多数任务的 Q-score 有所下降,其中大部分降幅低于 0.2;部分任务保持相近表现或取得更高得分,体现出一定的跨实例迁移能力。这里考察的是已知任务在不同初始条件下的表现。

图片

图 4|隐藏评测与此前报告的 Q-score 之差(Qhidden − Qreported)。每根柱对应一项任务;正值表示隐藏评测得分更高,负值表示下降。(技术报告图 5)

较大的降幅主要出现在依赖目标搜索的任务中。物体初始位置变化、遮挡和难以接近的区域,都可能显著增加搜索与操作成本。部分任务的评分条件较少,甚至采用二元评分,单个条件未满足就会造成较大的得分变化;每项任务仅有 10 个测试实例,也带来一定采样波动。

失败模式揭示了进一步改进的瓶颈。在 VLA 基线的失败类型排序中,抓取与放置位居前列;HiPhys-RSI 中排在前列的则是抓取与超时,放置、关节物体操作和物体掉落的排序相对靠后。

图片

图 5|失败模式对比。柱内数字表示该模式在各方法中的频次排名。抓取仍是共同难点,HiPhys-RSI 中超时和导航问题也较突出。各类别并非互斥,同一次执行可能出现多个失败模式。(技术报告图 6)

目标藏在不可见的位置,或者通道与操作空间过于狭窄时,反复搜索和规划会持续消耗执行预算。代码改进仍然受到当前感知能力、搜索策略、物理可达性和执行时间的限制。这说明,结构的积累可以解决许多协调与执行问题,而持续增长也需要进一步改善这些底层能力与环境交互方式。

新的操作策略,怎样成为系统知识?

具体案例展示了结构化知识的内容。通过智能体提出方案与人工引导改进,系统形成了一些适应不同任务的操作方式。

图片

图 6|程序构建与改进中形成的操作策略。上排:木头支撑几何调整、喷壶预处理;中排:锅沿抓取、扫描仪操作与移动;下排:借助盒子支撑纸袋、从车斗前沿搬运独轮车。木头任务也用于后文的评测漏洞分析。(技术报告图 7)

锅柄难以接近时,机器人抓住近侧锅沿,保持锅体水平,再将其搬到炉灶上。独轮车把手被阻挡时,机器人从车轮一侧接近,以双手抓住前部车斗边缘完成搬运。

喷壶直立时难以抓取和启动,系统先改变其姿态,再从更合适的方向操作。外卖打包时,机器人先将空纸袋立在盒子里,再放入汉堡,利用环境支撑降低操作难度。扫描仪则可以先在桌面上启动,再根据位置条件选择推移或抓取搬运。

Task 81 & Task 92,展示准备动作、操作顺序与最终效果。

这些经验包含接触点选择、物体状态调整、环境支撑利用和动作顺序安排。它们被写进程序后,可以在自主执行中再次使用。

更广的策略,也会暴露任务评分中的缺口。在堆木头任务中,系统将木头组成独立的配对,满足了接触条件,却没有形成预期的木堆,是较典型的评测漏洞利用。另一个案例是在冰箱内直接切食物:它获得部分分数,却未完成后续转移目标,其行为既可能是有效中间步骤,也可能停留在获取容易分数的阶段。

图片

图 7|策略探索暴露的评测问题。左:用独立木头配对满足接触条件;右:在冰箱内切食物获得部分分数,但未完成后续目标。(技术报告图 8)

这些观察也推动了对评测的反思:成功条件需要准确表达任务意图,同时保留合法替代方案的空间。系统能否自行判断阶段进展与任务完成,以及判断的准确性和时延,也值得作为独立能力进行评估。

让结构化经验与模型训练连接起来

程序改进产生的经验,还可以通过执行轨迹进入模型训练。

团队将流水线生成的观察 — 动作序列与基准示范混合,用于逐任务 VLA 后训练。程序探索中形成的操作方式与协调经验,由此成为学习策略可以利用的数据;训练得到的策略又与已有流水线一起,参与推理时的选择。

这为结构与策略的进一步协同演化提供了基础:更强的策略可以扩展后续系统构建时可用的能力,持续改进的流水线则可以继续产生训练经验。这种双向过程仍是值得深入探索的后续方向。

这份技术报告进一步提出:具身智能的能力增长,能够以多少种形式发生?

模型训练让经验进入参数,程序构建让经验成为可执行知识。编程智能体连接二者,使机器人领域积累的工具和方法能够通过自动化构建、验证与复用,服务于更广泛的任务。

Scaling by Structure 所探索的,正是这一维度:通过持续积累和改进结构化、可执行的知识,扩展整个具身系统的能力。

核心相关技术
[1] Jinbang Huang, Zhiyuan Li, Yuanzhao Hu, Ran Qi, Yixin Xiao, Mark Coates, Tongtong Cao, Zhanguang Zhang, and Yingxue Zhang. RoboHarness: Memory-Driven Orchestration of Heterogeneous Robot Policies for Long-Horizon Planning. arXiv:2607.18060, 2026. ECCV 2026 Agent in the World Workshop Best Paper Award.
[2] Ran Qi, Yixin Xiao, Dawei Wang, Zhiyuan Li, Jinbang Huang, Xuan Zhao, Yintao Ma, Yangzheng Wu, Tongtong Cao, and Yingxue Zhang. RoboCoEvo: Expanding Robot Capabilities through Agent–Policy Co-Evolution. 2026. Preprint.
[3] Liheng Ma, Rui Heng Yang, Amin Abyaneh, George Z. Xue, Behnam Rahmati, Mateo Clemente, Ziwen Hu, Anlin Chen, Tongtong Cao, Zhanguang Zhang, and Yingxue Zhang. Faster-WAM: Do World Action Models Need Deep Action Modules? arXiv:2608.02365, 2026.
[4] Jinbang Huang, Zhiyuan Li, Yuanzhao Hu, Zhanguang Zhang, Mark Coates, Xingyue Quan, and Yingxue Zhang. Self-CriTeach: LLM Self-Teaching and Self-Critiquing for Improving Robotic Planning via Automated Domain Generation. International Conference on Machine Learning (ICML), 2026.
[5] Jinbang Huang, Yuanzhao Hu, Zhiyuan Li, Ran Qi, Yixin Xiao, Yangzheng Wu, Tengyue Ba, Zhanguang Zhang, and Yingxue Zhang. StageGuard: Learning Stage Transitions for Long-Horizon Robot Tasks via Agentic Distillation. arXiv:2609.20791, 2026.

相关链接

  • 项目主页:https://behavior1k-champion.com/

  • 技术报告:https://behavior1k-champion.com/assets/HiPhys-RSI_tech_report.pdf

  • 官方排行榜:https://huggingface.co/spaces/behavior-1k/2026-challenge-leaderboard

  • 挑战赛介绍:https://behavior.stanford.edu/challenge/index.html

  • 评测指标与规则:https://behavior.stanford.edu/challenge/evaluation.html

文章标签机器人大模型

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。