清华伯克利开源uni-robot-agent机器人操控框架 Qwen实测效果超Astra

执行同样操作，Qwen的成本为Astra的1/20。

机器人前瞻11月3日报道，近日，清华大学与加州大学伯克利分校联合提出并开源具身智能体uni-robot-agent，一套面向训练搭建的跨环境统一的harness。

uni-robot-agent旨在打通不同机器人及仿真环境的工具接口，为通用大模型操控机器人、采集数据及训练提供统一基础。

基于此，Qwen3.8-Flash-Next通过直接操控机器人的方式，在RoboDojo上取得31.39分，超过GPT-6 Astra公开的28.97分，同时成本仅为Astra的1/20。

该论文的通讯作者包括丁宁、Pieter Abbeel、刘知远和徐梦迪。

论文链接：https://huggingface.co/papers/2611.01560

博客链接：https://openrua.ai/uni-robot-agent

代码链接：https://github.com/Open-RUA/uni-robot-agent

项目主页：https://uni-robot-agent.com

文档链接：https://uni-robot-agent.com/docs

Astra之后，具身智能体如何更进一步？

在包含42个任务的RoboDojo基准上，GPT-6 Astra已经展示出零样本操作能力。这些任务覆盖泛化、精确操作、长程执行、记忆和开放词汇指令跟随。面对陌生任务，模型可以观察场景、编写代码、调用机器人工具，再根据执行反馈调整下一步动作。原本用于解决数字世界问题的能力，开始延伸到真实的抓取、移动和操作中。

但要把这条路线从演示推进到可持续的研究，仍存在三道门槛。

第一道是成本。机器人操作需要持续观察和纠错，多视角图像与交互历史被反复送入模型，一个任务可能涉及几十甚至上百次调用。少量演示可以承担，扩展到大规模实验和数据采集，成本就成为实实在在的限制。

第二道是自主性。模型权重不开源，研究者只能通过API使用现有能力，难以在自己的硬件上部署，也无法针对机器人交互优化模型、缓存和推理过程。实验的速度与规模，很大程度上取决于外部服务。

第三道是学习闭环。机器人每次尝试都在产生经验，但研究者无法直接用这些轨迹更新闭源模型的权重。

因此，Astra展示出的能力也引出了下一个问题：能否让开放权重模型同样有效地使用机器人，让研究者既能运行它，也能训练它，让今天的交互成为明天的能力？uni-robot-agent正是向这个方向迈出的一步。

uni-robot-agent的设计选择：

跨环境统一与模块化

机器人Agent的基本流程并不复杂：读任务，看图像，调用工具，观察结果，再决定下一步。模型负责决定做什么，harness则负责让这些决定真正落到物理世界。但看似简单的交互流程背后，涉及不同机器人的能力差异、工具接口、执行反馈和异常处理等一系列问题。让Agent能够操作机器人并不难，难的是构建一套统一、易用、可泛化的harness，让不同模型都能以一致的方式与不同机器人交互。

uni-robot-agent团队的做法可以概括成四条。

第一，跨环境统一。uni-robot-agent从设计之初就为训练准备，它本身就是为agentic training打造的底座，评测只是其中一部分。感知、运动、技能、episode控制四类工具在仿真和真机里共用一套定义，环境差异交给各自环境的适配器。这意味着不同环境里学到的能力可以互相迁移，工程上只要维护一套工具。

第二，模块化。整个框架更像一盒乐高：Agent运行时、上下文策略、感知后端、动作模型、环境适配器，每一个都能单独开关、单独替换。基于这个设计，研究者一方面可以更好地进行二次开发，一方面可以更好地进行消融实验，验证各个组件对于具身Agent的重要性。

第三，对齐真实世界。团队把Agent能拿到的信息严格限制在真机上也能拿到的范围：本体感知、机器人描述文件、固定相机的RGB及标定参数、任务指令。仿真器里的精确深度、物体CAD模型、隐藏标注一概不给，任务执行过程中的分数也不回传给模型。技能也是通用的，不为某个基准任务定制。没有资源上的hack，也没有信息上的hack。

第四，并行加速。耗时的物理动作可以丢到后台，工具立刻返回一个任务句柄，模型接着准备不依赖这一步结果的事情。共用同一资源的动作按先进先出排队，计划变了还能撤销没开始的动作。机械臂在动的时候，模型在想下一步。

uni-robot-agent实测：仿真与真机结果

为了验证harness的泛化性，团队在仿真和真机上都做了评测。

在仿真环境中，Qwen3.8-Flash-Next加上uni-robot-agent的组合取得了31.39分，超过了baseline中GaP的21.01分，也超过了使用astra加上roboprobe的28.97分，验证了开源模型完成具身任务的能力。同时DeepSeek-V4.1-Flash取得了27.11分，GPT-6 Astra取得了51.90分，说明了uni-robot-agent并不是针对Qwen专门优化的，而是一套可以泛化到任意模型的harness。

在真机世界里，团队在一台双臂夹爪平台上搭了一套真机评测Real Eval，19个任务，分为空间理解、物体泛化、指令遵循、组合泛化和未见任务五个维度，每个维度20分。Qwen在一条评测任务的真机数据都没见过的情况下，拿到53.50分，高于在该环境下进行过微调的π0.5的47.75。而Astra在这套harness下更是达到了80.50的高分。

这套harness的适用范围也不止于平行夹爪。团队把它接到了Franka机械臂与Sharpa灵巧手上，仅需简单扩展灵巧手相关工具，uni-robot-agent+Astra就完成了抓取小鸟玩偶、按下绿色按钮、把苹果放进盘子这类灵巧操作。

设计取舍与能力边界：

模型需要什么，又不依赖什么？

没有提供深度，模型还能找到物体吗？

模型能在图像中认出物体，却未必知道机器人该向哪里移动。连接视觉理解与物理动作，需要建立图像坐标和机器人坐标之间的关系。

uni-robot-agent为模型提供相机内外参，帮助它完成这种对应。这些信息可以通过实际相机与机器人的标定获得，无须读取仿真器中的深度信息，也不依赖针对任务编写的定位捷径，在真机环境下也容易获取。模型可以利用这些信息通过三角标定的方式建立空间坐标，只是相比于深度标定，模型需要结合不同视角和几何关系进行推断。

但如果定位可以更直接，效果会好多少？反过来，如果连标定信息都没有，模型又能做到什么程度？

团队比较了三种设置：提供深度与相机标定、只提供相机标定，以及仅提供RGB图像。

有深度时，工具可以结合相机内外参，将目标像素直接转换成三维坐标。移除深度后，Astra的得分仅从55.83变为55.04，几乎不受影响；Qwen则从35.89降至31.39。此时，模型需要在不同视角中找到对应点，通过三角测量恢复目标位置。这一差异表明，Astra更善于利用已知的相机几何建立空间定位，而Qwen在跨视角对应与几何推断上仍有差距，更依赖直接提供的深度信息。

进一步移除相机内外参，考验就从“利用已知几何定位”，变成了“自行推断视觉观察与物理动作之间的空间关系”，模型不仅要判断物体在哪里，还要理解图像中的方向和距离意味着机器人该如何移动。在这一设置下，Qwen的得分降至9.13，Astra仍达到31.29。这更直接地体现了模型自身的空间推理能力，也说明了标定信息对当前开源模型的重要性：它为视觉与动作搭起了一座桥，帮助空间能力尚不充分的模型完成有效操作。

没有技能库，性能会不会明显下降？

技能库可以复用操作经验，但也容易让人疑惑：系统是否提前为每道题准备了解法？

为此，团队同时关闭了Qwen对机器人技能库的访问和技能写入能力，保留任务说明、环境描述与基础机器人工具。移除技能后，得分从31.39变为30.31，保留96.6%；成功率仅相差0.42个百分点。

这并不意味着技能模块没有价值。它为经验复用和后续扩展提供了接口，而当前结果说明：uni-robot-agent的整体表现，并不过度依赖技能库提供的任务知识。

两组实验共同指向了这套系统的设计思路：提供有助于推理的信息，让工具可靠地执行动作、返回有效反馈，把具体问题留给模型解决。相机标定和机器人本体描述帮助模型建立空间关系，可靠的运动工具与执行反馈则支持它行动、检查和纠错。这也是uni-robot-agent希望为开源模型搭建的基础。

在开源模型上获得了令人兴奋的分数后，团队并没有就此停留，而是开始思考，开源模型究竟需要怎样的能力才能做好具身任务？

分数之外：

开源模型究竟需要训练出怎样的能力

为了研究模型完成具身任务需要哪些能力，团队在RoboDojo上评测了Qwen、GPT、DeepSeek等不同系列、代际和规模的模型，发现了一个值得注意的反差：Qwen3.8-27B已经能够完成部分任务，而参数量更大的Qwen3.7 Plus，在此次评测中仍未取得任务成功。

类似的反差也出现在模型代际之间。GPT-5.6 Sol已经展现出一定的机器人操作能力，而部分更新的模型依然难以完成任务。模型的参数量和发布时间，都不足以单独解释它在机器人任务上的表现。

团队进一步检查了模型的交互轨迹。机器人任务会把一个看似简单的指令拆成连续的考验：看清场景、找到目标、算出动作，再判断这个动作在物理世界中是否可行。任何一环出错，都可能让后续操作偏离目标。失败主要集中在四个方面：

看懂场景。把数字“0”认成“9”，或把倒扣的杯子当成正放，都会让操作从一开始就走错方向。在较早的Qwen Flash和Plus模型中，这类未能纠正的视觉错误出现在约12.2%–23.8%的试验中。

找准位置。认出物体，还要确定它在哪里。模型需要在不同视角中找到同一个物理特征，才能利用相机几何恢复空间位置。即使是这项表现最好的GPT-6.1 Sol，相关调用仍有31.5%因对应点不一致、重投影误差过大而标定失败。

算对几何。从图像到机器人动作，需要坐标变换、姿态计算和代码执行。较早的Qwen Flash和Plus模型在47.3%–81.8%的几何计算中出现错误，而Qwen3.8-Flash的这一比例降至8.2%，DeepSeek则为1.5%。

理解怎样操作才合理。位置算对了，也不代表抓取就能成功。手腕朝向是否合适、夹爪能否接近目标、双臂如何配合，都需要模型理解动作的物理含义。 

除了结合轨迹进行分析，这些能力是否也能从通用模型评测中看出端倪？团队将六个模型的RoboDojo表现与具身推理、多模态理解、视觉定位和代码生成基准进行比较，发现四类指标均呈正相关，其中具身推理和多模态理解的关联更强。

这虽不足以证明某项能力直接带来了多少提升，却为后续训练提供了明确线索：提升机器人能力，除了学习动作本身，还可以有针对性地训练模型如何观察、定位、计算和判断。机器人交互中留下的失败轨迹，也因此成为了定位能力短板、构造训练任务的依据。

开源模型的具身操作能力为什么重要

开源模型也能做好机器人操作了。过去，大家谈到RUA，往往会想到那些能力最强的闭源前沿模型。但现在，一个参数规模更小、使用成本更低、还可以本地部署的开源模型，也已经能在不少有挑战的操作任务上取得不错的表现。这意味着，RUA的研究不必再局限于少数闭源模型，更多研究团队也可以基于开源模型搭建自己的系统、开展实验，探索新的方向。

研究成本降到了更容易接受的水平。在42局的成本分析中，Qwen每局的估算API成本为1.09美元，Astra则为21.29美元。如果跑完252局的完整评测，前者不到300美元，后者则超过5000美元。

更值得期待的是，模型可以在真实交互中不断积累经验。权重开放后，研究者不仅可以把模型部署在本地，减少对外部API的依赖，也可以利用机器人交互过程中积累的轨迹继续训练模型。机器人每一次尝试、成功和失败，都有机会成为下一轮训练的数据，反过来提升模型的能力。这样，Robot Agent就有机会形成一个持续改进的循环：与机器人交互、积累经验、训练模型，再把训练后的模型放回机器人上继续尝试。这也是开放权重带来的一个更长远的研究空间。

团队给这套东西找了个参照：编码Agent领域的mini-swe-agent。它的目标是一个简单、通用、谁都能拿来改的起点。统一的接口和结构化的记录，让不同环境里的交互经验可以按同一格式收集。当前实现已经支持导出Codex的交互轨迹，这些轨迹正是SFT和强化学习的原料。

拆掉那道“只有闭源模型玩得起”的门槛，是uni-robot-agent最大的意义。基于uni-robot-agent，让机器人经验通过训练持续回流形成学习闭环的路，还有很大的探索空间，值得期待。

结语：开源具身智能体，迈向持续学习

此次研究表明，开源通用大模型已经具备一定的机器人操作能力，在统一框架的支持下，也能以更低成本完成复杂任务，为具身智能提供了新的技术选择。

不过，uni-robot-agent更大的价值并非单次评测成绩，而是为开源具身智能体的训练与迭代提供了基础。未来，能否利用真实交互数据持续提升模型能力，并实现跨本体、跨场景的稳定泛化，是这一路线发展的关键。