机器人使用智能体（Robot-Use Agent，RUA）已经能零样本完成不少操作任务，但目前表现好的系统，大多建立在 GPT-6 Astra 这类闭源前沿模型之上。研究者能调用这些模型，却拿不到权重，也就没办法用机器人上积累的经验继续训练它们；高昂的 API 费用和无法自行优化的推理，也让大规模实验很难展开。
这项工作出自清华大学和加州大学伯克利分校的联合团队：清华大学一侧是丁宁、刘知远、徐梦迪、周伯文等人的团队，加州大学伯克利分校一侧是伯克利人工智能研究实验室（BAIR）联合主任 Pieter Abbeel 的团队。他们开源的 uni-robot-agent，是一套专为开源权重模型准备的统一机器人 Agent harness，在上面跑出来的交互数据，也可以直接拿去继续训练模型。
在不使用任何特权信息的条件下，开源模型 Qwen3.8-Flash-Next 搭配 uni-robot-agent，在 RoboDojo 上拿到 31.39 分，超过了 RoboDojo 官方公布的 GPT-6 Astra（搭配 RoboProbe）成绩 28.97 分，单局成本约为 Astra 的 1/20。在 19 项真机桌面操作任务中，Qwen 零样本拿到 53.50 分，高于用示教数据微调过的 π0.5（47.75 分）和零样本调用的 Dream-1（43.50 分），分别高出 5.75 分和 10 分。
论文题为 Democratizing Robot-Use Agents: A Unified Harness with Open Models。
论文链接：
https://arxiv.org/abs/2611.01560
博客链接：https://openrua.ai/uni-robot-agent
代码链接：https://github.com/Open-RUA/uni-robot-agent
图 1｜论文首页与总览：上半部分是 uni-robot-agent 的统一工具链，下半部分是仿真与真机结果。
◈开源模型为何难控制机器人：问题可能出在 harness 上
今年夏天开始，“让大模型直接用机器人”从少数人的尝试，变成了很多团队认真讨论的方向。
7 月，Anthropic 的 Frontier Red Team 发布了 Claude plays robotics，让几代 Claude 模型去控制倒立摆、仿真四足和人形机器人、机械臂，还有一台真实的 Unitree Go2。其中一个结论是：同一个模型在机器人任务上的得分，取决于它通过什么接口连到机器人上的程度，并不亚于取决于模型本身。让模型直接控制关节，基本都会失败；换成指挥预训练控制器，或者给它一些简单的定位工具，它就能完成真实的导航和操作任务。两周后的 Project Pilot 里，Anthropic 又写道，模型使用无人机的能力，正在接近编程 Agent 使用软件工具的顺手程度。
9 月，MIT 的 Phillip Isola 在《Robot-Use Agents》一文里说得更直白：大模型能用计算器、搜索引擎和整台电脑，也能把机器人当成工具来用。照这个思路，任何联网的机器人，都可能成为 Agent 手里的一件工具。
到了 11 月，这股劲头还在加速。美国时间 11 月 9 日，Anthropic 发布 Claude Fable 5.2，专门提到它控制实体机器人的本事明显变强，连没专门训练过的机器人任务也能上手，演示里它解了魔方、拧开了瓶盖，还画了画。在 Anthropic 内部跑的 RoboDojo Sim 上，Fable 5.2 拿到 64.9%，上一代 Fable 5.1 只有 27.6%，隔了一代，分数翻了一倍还多。
在团队看来，这条路线对应的是未来具身大模型里的 System 2。具身系统常被拆成两部分：System 1 是高频输出动作的预训练策略，System 2 通常由能看图的语言模型负责高层规划。GPT-6 Astra 没做针对任务的微调，就在 RoboDojo 的 42 个任务上超过了 40 个公开策略：它会观察场景、编写代码、调用机器人工具，再根据执行反馈修正下一步。这让人看到了语言模型 Agent 担任 System 2 的潜力。
可不管是 Astra 还是 Fable，权重都不对外，研究者只能“按原样”使用，随之而来的是三个限制。
成本高昂。机器人操作要不停地观察和纠错，多视角图像和交互历史被一遍遍送进模型，一个任务动辄上百次调用，而闭源大模型又十分昂贵。做几个演示还承受得起，扩到大规模实验和数据采集，账单就成了硬约束。
无法部署。拿不到权重，就没法把模型部署在自己的机器上，也没法针对机器人交互去优化缓存和推理，而推理速度恰恰是 RUA 的主要瓶颈之一。
难以训练。机器人每一次尝试都在产生经验，这些轨迹却不能拿来更新闭源模型的权重。
机器人任务要求很强的空间理解和 Agent 能力，现有开源模型往往不够。所以此前的工作常常“打补丁”：给模型喂仿真器里的真实状态，直接告诉它任务成没成功，或者针对具体任务写技能。分数也许能上去，但这些“补丁”和zero-shot的真实世界评测仍存在巨大鸿沟。
uni-robot-agent 团队的想法是：搭一套通用、可靠的 harness，把开源模型已有的能力摸清楚、用充分。
harness 的影响有多大，看同一个 Qwen 的成绩就知道：在 RoboProbe 下是 1.90 分，在 RPent 下是 7.75 分，在接入 π0.5 的 GAP（Hybrid）下是 21.01 分，换到 uni-robot-agent 后是 31.39 分。模型一个参数没动，分数却能相差十几倍。
◈两个出发点：可泛化的训练，客观的评测
机器人 Agent 的流程并不复杂：读任务，看图像，调用工具，观察结果，再决定下一步。模型决定做什么，harness 负责把决定落到物理世界。设计 uni-robot-agent 时，团队有两个出发点。
第一，为可泛化的 agentic training 打底。uni-robot-agent 从一开始就是冲着训练去的，评测只是它的一种用途。而要让训练出来的能力能跨环境用，最关键的是一套统一的工具接口。拿数字世界打个比方：对大模型来说，在不同网站上搜索、在不同代码库里写程序，用的是同一套工具，所以经验能从一个环境带到另一个环境。机器人也一样。感知、运动、技能和 episode 控制四类工具，在仿真和真机、单臂和双臂上共用一套参数、单位和反馈格式，环境之间的差异交给各自的适配器去处理。换了机械臂、换了环境，move 还是那个 move，模型学到的用法就能带过去，不同环境攒下的交互轨迹也能直接合在一起训练。工程上同样省事：新增一个环境只要写一个适配器，N 个工具接 M 个环境，不用写 N×M 份实现。
第二，让评测客观。团队把 Agent 能拿到的信息严格限制在真机上也拿得到的范围：本体感知、机器人描述文件、固定相机的 RGB 图像和标定参数、任务指令。仿真器里的精确深度、物体 CAD 模型、隐藏的场景标注和联网检索一律不给；裁判结果只用来打分，不回传给模型；技能库是通用的，不会为某个基准任务量身定制。团队还人工检查了实验全过程，确认模型没有越界访问被禁止的信息。有几个任务的说明本身有歧义（比如按钮任务没讲清什么时候按蓝色按钮确认），团队只补了规则说明，没有给评分标准或裁判逻辑。没有资源上的 hack，也没有信息上的 hack。
那问题就来了：不给深度、不给裁判反馈，也不给为题目定制的技能，性能从哪里来？
团队的回答是：认真参考机器人学里的经验，把给 Agent 看的信息组织好，再把工具做得足够可靠、反馈足够清楚，大模型就能把自己的能力发挥出来。论文的原话是，相机标定、机器人描述这类组织得当的信息，加上能给出有效反馈的可靠工具，就足以支撑有效的机器人操作。
◈具体怎么做：模块化、流水线与六个设计选择
模块化：一盒可以拆开重搭的乐高。Agent 运行时（例如 Codex、Claude Code）、上下文策略、感知后端、动作模型和环境适配器，每一块都能单独开关、单独替换。做二次开发方便，做消融也干净：想知道某个组件到底有多重要，换掉它再跑一遍就行。
图 2｜uni-robot-agent 的五层架构：Agent、编排、工具、服务、后端，层与层之间通过显式接口连接，各组件可以单独替换。
流水线：机械臂在动，模型在想下一步。耗时的物理动作可以放到后台执行，工具马上返回一个任务句柄，模型接着处理不依赖这一步结果的事。共用同一资源的动作按提交顺序排队，读取已有快照则可以和运动同时进行；计划变了，还能用 flush_queue 撤销还没开始的动作。在支持的运行时里，一次回复可以提交多个工具请求，再一起取回结果。
图 3｜串行交互（上）与两级流水线（下）：流水线模式下，T1 还在执行，模型已经提交了 T2，并接着推理。
工具靠不靠得住，还取决于很多容易被忽略的地方。团队总结了六个设计选择：
- 同一张快照：图像、相机标定和机器人状态被绑定成一张不可变的快照，避免机器人动了之后，还拿新的相机位姿去解读旧图像里的像素。
- 丢了回复不重发：没收到回复，不等于动作没执行。系统记下每个请求的编号和执行状态，拒绝重复请求；执行结果不明时，先暂停新的动作。
- 边走边夹：move 同时接收目标位姿和夹爪开度，手臂和夹爪可以一起动。
- 看进度决定停：move 根据实测位姿生成中间目标，每走一步检查一次进度，到位、停滞、异常或碰到执行上限就停下，把控制权交还给 Agent。
- 反馈讲清原因：到达抓取位姿，不代表物体真的被抓起来了。工具会返回位姿误差、停止原因和执行后的图像，帮 Agent 判断是该微调目标，还是该换个抓法。
- 上下文留重点：滑动窗口先把旧图像换成文字占位，并且成批移除，让提示前缀保持稳定、方便复用缓存；如果还是超出预算，再用同一个模型、按 Codex CLI 的压缩提示词整理历史。
◈仿真超过 Astra 官方成绩，真机零样本超过微调 π0.5
仿真：RoboDojo。评测覆盖全部 42 个任务，每个任务 3 个随机种子 × 2 种布局，共 252 局，每局最长 3 小时。按官方协议，同时报告成功率（SR）和计入部分进度的 Score（0–100 分）。
表 1｜RoboDojo 主要结果（SR/Score）。灰色行为开启深度时的参考结果，主结果均不使用深度。
Qwen3.8-Flash-Next + uni-robot-agent 拿到 25.00% 的成功率和 31.39 分，超过了表里所有 VLA/WAM 基线，也超过了 RoboDojo 官方公布的 GPT-6 Astra + RoboProbe 结果（22.48%、28.97 分）。另一个开源模型 DeepSeek-V4.1-Flash 拿到 21.39% 和 27.11 分，同样高于所有 VLA/WAM 基线。如果换成表里最强的其他 harness GAP，Qwen 的成功率会掉 8.89 个百分点，分数掉 10.38 分。
闭源模型也能从 uni-robot-agent 的设计中受益：GPT-6 Astra 接上 uni-robot-agent 后拿到 46.67% 和 51.90 分，是全表最高。这也说明，uni-robot-agent 不是专门为 Qwen 调出来的。
分维度看，不管开源还是闭源，Agent 在记忆和开放词汇任务上都明显强于 VLA/WAM；到了长程任务，Qwen 和 DeepSeek 则不如 Xiaomi-Robotics-1 和 OpenWAM-α。
真机：Real Eval。团队在一台 ARX AC One 双臂平台（两条 X5 机械臂、三台 Intel RealSense D405 相机）上搭了 19 个任务，分成空间理解、物体泛化、指令遵循、组合泛化和未见任务五个维度，每个维度 20 分。π0.5 用每个任务约 10 小时的示教数据微调；Dream-1 是世界动作模型，通过公开 API 零样本调用；uni-robot-agent 驱动的两个 Agent，一条示教数据都没见过。
这 19 个任务都很日常：把试管从一个架子挪到另一个架子、把马克杯放到木块上、把玩具车放进篮子、把开口朝上的纸杯叠起来、搭一座三层汉诺塔……拿插试管来说，Agent 先拍一张场景照（capture_scene），分别定位试管和孔位（locate），移过去把试管夹起来，再换成 precision 档把它对准孔位，松开夹爪后调出环境状态（view_env_state），看看插没插好。
图 4｜五个能力维度各取一个代表任务：插试管、双臂交接、按指令抓放、叠口朝上的纸杯、汉诺塔。下方是示意性的工具调用序列，定位参数和目标位姿做了省略。
表 2｜真机 Real Eval 结果，每个能力维度满分 20 分，总分 100 分。
Qwen 拿到 53.50 分，比微调过的 π0.5（47.75 分）高 5.75 分，比 Dream-1（43.50 分）高 10 分；Astra 拿到 80.50 分，领先所有方法。真机上两个 Agent 还用到了 D405 相机的深度，π0.5 和 Dream-1 只用 RGB 图像。
Agent 和具身基模两条路线各有长处。Agent 在组合泛化和未见任务上得分更高，Qwen 在按颜色排列方块、用抹布擦白板、叠书和关微波炉门上都拿了满分；VLA/WAM 在物体泛化上表现不错，Qwen 这一项比它们低。从微波炉里取碗、展开抹布这两项，四种方法都还没拿到分。
平行夹爪之外，团队还把 uni-robot-agent 接到了 Franka 机械臂和 Sharpa 灵巧手上。只是补了几个灵巧手相关的工具，Astra 就完成了用食指以外的手指抓起小鸟玩偶、用食指按下绿色按钮、把苹果放进盘子这些操作。
视频｜uni-robot-agent + GPT-6 Astra 驱动 Franka 机械臂与 Sharpa 灵巧手，16 倍速播放。
◈参数更多，不等于更会用机器人：差在哪几种能力
有了开源模型的成绩，团队接着想回答一个更大的问题：通用模型是从什么时候开始能做具身任务的？又是哪些通用能力凑在一起，让它学会了用机器人？
为此，他们在 RoboDojo 上补测了 Qwen、DeepSeek、GLM、GPT 等不同系列、不同代际、不同规模的模型（新增模型的评测规模比主实验小，多数是每个任务 1 局），发现如下：
其一，会用机器人，不是最新一代模型才有的本事。GPT-5.6 Sol 已经有 19.17% 的成功率和 24.04 分，GPT-6.1 Sol 则到了 37.50% 和 45.63 分。
其二，参数量和发布时间都解释不了差别。Qwen 系列里，只有 3.8 代模型真正完成过任务：Qwen3.8-27B 的成功率是 8.06%，Qwen3.8-Flash-Next（125B）是 25.00%；参数更多的 Qwen3.5-122B、Qwen3.6 Plus 和 Qwen3.7 Plus（后两个都超过 150B），成功率全是 0。同属新一代的 GLM-5.3 Flash，就算开了深度，成功率也是 0。团队推测，各代模型训练数据分布的不同，比单纯的模型大小更要紧。
图 5｜不同代际、系列和规模的模型在 RoboDojo 上的表现。
差在哪里？团队翻看了 13 个模型的交互轨迹，把失败归成四类：
- 看懂场景。把数字“0”认成“9”，把倒扣的杯子当成正放，操作从第一步就走偏了。较早的 Qwen Flash 和 Plus 模型里，这类错误出现在 12.2%–23.8% 的试验中；Qwen3.8-27B 降到 3.2%，Qwen3.8-Flash 和 GPT-5.6 Sol 则没出现过。
- 找准位置。要靠相机几何算出物体在哪，得先在不同视角里点中同一个物理特征。点不准，重投影误差就会过大，三角测量工具会直接拒收结果。这一项表现最好的 GPT-6.1 Sol，也还有 31.5% 的相关调用因此被拒。
- 算对几何。坐标变换写反、四元数约定混着用，较早的 Qwen Flash 和 Plus 模型在 47.3%–81.8% 的几何计算里出错；Qwen3.8-Flash 降到 8.2%，DeepSeek 是 1.5%，GPT-5.6 Sol 是 0.7%，GPT-6.1 Sol 一次都没错。
- 想清楚怎么动。位置算对了，抓取姿态也得合理。团队在抓放任务里请 GPT-6 Astra 判断抓取姿态是否可行，发现 GLM 经常不会转动手腕去抓，错误率达到 26.2%。就连 GPT-6 Astra，碰到双臂协作这类更复杂的情况也还会出错。
图 6｜四类失败率与 RoboDojo 得分的关系：视觉理解、空间定位、几何编码、具身推理。
这些能力能不能从通用评测里提前看出来？团队把六个模型的 RoboDojo 得分，和具身推理（ERQA）、多模态理解（MMMU-Pro）、视觉定位（ScreenSpot-Pro）、代码生成（LiveCodeBench v6）四个基准放在一起比，发现四者都和 RoboDojo 得分正相关，相关系数分别是 0.97、0.93、0.69 和 0.75。视觉定位的相关性偏弱，可能是因为 ScreenSpot-Pro 测的是屏幕上的二维定位，而机器人要的是三维空间定位。
图 7｜通用基准成绩与 RoboDojo 得分的关系，相关系数基于六个模型计算。
六个模型的相关分析，还说明不了某项能力具体带来了多少提升。但方向已经比较清楚：会用机器人，靠的不是某一种专门的“机器人能力”，而是视觉理解、空间定位、几何编码和具身推理几种通用能力叠在一起。所以团队认为，以后的 RUA 训练应该让这几项能力一起长，比如用机器人数据去构造针对每项能力的训练任务，而不只是拟合动作输出。机器人交互里留下的失败轨迹，正好可以拿来找短板、出训练题。
◈特权信息到底值多少分？
不少机器人 harness 会给模型额外的帮助：仿真器里的精确深度、任务成没成功的裁判信号、为具体任务写好的技能。uni-robot-agent 把这些都拿掉了。反过来问：这些特权信息到底能帮多少？团队专门做了一轮探索。
深度：有相机标定，就不是必需品。模型能在图里认出物体，不等于知道机器人该往哪里移动。团队比较了三档几何信息：深度 + 相机标定、只有相机标定、只有 RGB。有深度时，工具可以把目标像素直接换算成三维坐标；只有标定时，模型得在多个视角里找到同一个点，再三角测量出位置；连标定都没有，就只能凭画面里的空间关系去猜。
去掉深度后，Astra 从 55.83 分变成 55.04 分，保留了 98.6%；Qwen 从 35.89 分降到 31.39 分，保留了 87.5%。再去掉相机标定，Astra 还有 31.29 分，Qwen 则跌到 9.13 分。（Qwen 按 3 个种子 × 2 种布局评测；Astra 受成本所限，只跑了 1 个种子 × 1 种布局。）
图 8｜几何信息逐级减少时的表现：深度 + 标定、仅标定、仅 RGB。
这组结果里最值得看的是趋势：只要有相机参数，精确深度就不是拿高分的必要条件；模型越强，越能从画面里自己推出三维关系，对特权信息的需要也就越少。附录里的案例显示，没有深度时，Qwen 会自己动手写几何代码：跨视角三角化出物体位置，或者把桌面高度设成几个不同的值，再拿图像去验证哪个对。反过来，Qwen 在纯 RGB 设置下跌得很厉害，也说明对现在的开源模型来说，相机标定是连接视觉和动作的那座桥。
技能库：拿掉也只差一点。技能库能复用操作经验，也容易让人起疑：是不是提前给每道题备好了答案？团队关掉了 Qwen 读写技能库的权限，只留下任务说明、环境描述和基础工具。得分从 31.39 变成 30.31，保留了 96.6%，成功率只差 0.42 个百分点。分维度看，精度和长程两项反而略有上升，记忆和开放词汇有所下降。
图 9｜启用与移除技能库时 Qwen 的表现，误差线为约 95% 的 bootstrap 置信区间。
两组探索说的是同一件事：特权信息能补上一些分，但撑起性能的不是它们。harness 要做的，是给出有助于推理的信息，让工具可靠地执行、把反馈说清楚，剩下的问题交给模型自己解决。
◈工具可以更少，接法可以更多
既然撑起性能的主要是模型本身，那 harness 还能不能再“瘦”一点？反过来，换一种和机器人打交道的方式，或者接上更多种机器人，这套框架还管不管用？团队顺着这两个方向又往前走了几步。
做减法：只留四个工具。Clean Mode 只给模型 move、hold、capture_scene 和 finish 四个工具，大致就是“动一下、停住、拍张照、交卷”，夹爪的开合也并进了 move 里。技能库、定位工具、后台任务这些全部撤掉，物体在哪、该从哪下手，都要模型看着图像自己算。在提供相机标定的设置下，和完整工具配置的历史结果相比，Qwen 保住了 90.4% 的分数（28.38 对 31.39），Astra 保住了 90.5%（46.96 对 51.90）；每局用掉的 token 分别少了 35.7% 和 78.8%，Astra 省得尤其多。模型越来越强以后，今天封装在工具里的计算和流程，有一部分可以交还给模型，harness 也就可以越做越薄。
图 10｜Clean Mode（图中 Minimal）与完整工具配置的对比：横轴是每局 token 用量，纵轴是得分；左为 GPT-6 Astra，右为 Qwen3.8-Flash-Next。
换个写法：让模型写程序。默认情况下，模型一次调用一个工具，看完结果再决定下一步。Code as Policy 模式则让模型直接写一段 Python 程序，在程序里调用同一套机器人工具，循环、条件判断和坐标计算都能写进去；一段程序跑完，模型再看图像，决定下一段写什么。Codex 和 Claude Code 用的就是它们自己的命令行和文件工具，框架没有为此加新工具。用 Qwen 在 RoboDojo 上跑完 252 局，这种方式的总分是 25.60，低于直接调用工具时的 31.39；不过精细操作一项从 10.21 涨到了 17.40，其余四个维度都有所下降。程序里的动作是一口气执行下去的，什么时候该停下来、回头看一眼画面再继续，还是个没完全解决的问题。
图 11｜Qwen 在直接调用工具（灰）与 Code as Policy（绿）两种方式下的各维度得分。
带上动作模型：大模型布置，VLA 出手。Hybrid 模式让大模型和 VLA、WAM 这类动作模型搭档干活。大模型用一句话给动作模型布置任务（actor_act），动作模型交回一段动作；执行前还可以加一道审查，只放行前面靠得住的一截、直接叫停，或者做小幅修正。下一段动作一定基于最新的观测重新生成，被丢掉的部分不会再拿来重放。目前接进来的动作模型有 π0.5、GR00T 和 NaVILA，在仿真里覆盖了 Panda 机械臂配 16 自由度 Allegro 灵巧手的灵巧操作、宇树 G1 人形机器人的移动操作、R1Pro 轮式机器人的移动操作，以及宇树 Go2 四足机器人的导航，其中后三种目前还是实验性的。
视频｜Hybrid 模式下，同一套 harness 驱动灵巧手（Panda + Allegro）、四足（宇树 Go2）、双足人形（宇树 G1）和轮式人形（R1Pro），均为仿真环境。
接更多真机。真机这边，ARX One 双臂平台的接入代码和部署说明已经随代码库开源；松灵 Piper-X 也已经接通，智元 G2 和宇树 G1 正在接入。不同硬件之间的差别交给各自的适配器，模型那一侧看到的始终是同一套工具。ARX One 的接入还被整理成了模板：和具体硬件有关的部分写成驱动，其余部分不用改，想接自己手里的机器人，照着这个结构补一个驱动就行。
图 12｜左：ARX One 双臂平台在搭汉诺塔；右：松灵 Piper-X 双臂把苹果放进果篮。
想自己上手的话，现在 pip install uni-robot-agent 就能装上。11 月 11 日发布的 0.2.0 版本，已经包含了 Clean Mode、扩展后的 Hybrid 支持和 ARX One 真机接入。
◈一局 1 美元，打开的是训练闭环
研究成本降下来了。在同一套 harness、各跑 252 局的评测里，Qwen 每局的估算 API 成本是 1.09 美元，Astra 是 21.29 美元，差了将近 20 倍；DeepSeek 是 0.94 美元。照这个单价粗算，跑完一次完整评测，Qwen 不到 300 美元，Astra 要 5,000 美元以上。
图 13｜三个模型的得分、每局 token 用量与每局 API 成本。
账单之外还要看效率。Astra 依然最“省步数”：要达到 25 分，Astra 每局只需 7.4M token、42.6 分钟，Qwen 要 23.5M token、95.5 分钟，DeepSeek 要 49.9M token、99.2 分钟。开源模型在决策效率上还有不少要追。harness 这边，流水线执行能让 84.5%–93.8% 的物理执行时间和模型推理重叠；在团队挑的 5 个任务上，单局时长缩短了 4.8%–73.7%，比如交换 T 形积木从 34.7 分钟缩到 12.5 分钟。这 5 个是个案对比，不代表全基准的平均加速。
开源模型能做的事变多了。过去说到 RUA，大家想到的多半是能力最强的闭源前沿模型。现在，一个参数更小、成本更低、可以本地部署的开源模型，也能在不少有难度的操作任务上交出像样的成绩。RUA 研究不必再绑在少数几个闭源模型上，更多团队可以用开源模型搭系统、做实验。
最让人期待的是学习闭环。权重开放以后，模型可以部署在本地，可以针对机器人交互优化缓存和推理，也可以用交互中攒下的轨迹继续训练。机器人的每一次尝试，不管成功还是失败，都可能变成下一轮训练的数据：和机器人交互，攒经验，训练模型，再把新模型放回机器人上接着试。
团队给 uni-robot-agent 找的参照，是编码 Agent 领域的 mini-swe-agent：一个简单、通用、谁都能拿来改的起点。统一的接口和结构化记录，让不同环境里的交互经验能按同一格式收集。现在它已经支持导出 Codex 的交互轨迹，这正是 SFT 和强化学习需要的原料。
论文坦言，精细操作和可靠的长程执行仍是难点：Qwen 在 RoboDojo 精度维度只有 10.21 分，长程执行 23.75 分；在同一套 harness 下，Astra 不管在仿真还是真机上都明显领先。
以前做 RUA 研究，基本只能拿闭源模型来试。现在开源模型也能上手了，机器人经验能不能通过训练回流到模型里，大家终于可以自己动手去验证。
◈关于 OpenRUA
uni-robot-agent 来自 OpenRUA 研究项目。项目由来自顶尖高校和前沿实验室的研究者发起，研究背景覆盖具身智能和基础大模型，目标是为能进入物理世界、和物理世界交互的智能体打造开放的基座（building open foundations for agents that act in the physical world）。uni-robot-agent 是 OpenRUA 发布的第一个开源成果。
团队主页：https://openrua.ai
