作者|张竹
当下,具身智能在实验室里完成一次任务,和在真实世界中持续、稳定地工作,中间还隔着一条鸿沟,因为真实世界从不按照预设脚本运行。
人类指令随时变化,障碍物突然出现,环境参数不断漂移。机器人不仅要完成当前动作,还要在一次次执行中修正策略、沉淀经验。
任何一个环节出现短板,都可能让实验室验证过的能力,在现实场景中失效。
这正是具身智能走向规模化落地时绕不开的坎,单点突破已经不够,真正需要的,是让感知、预测、决策、执行与数据形成一套持续运转的体系化能力。
最近,云深处科技发布的研究成果,体现了这一体系化能力,围绕自研具身大脑 DEEPRobotics-Brain 发布多篇论文,集中公布五项核心研究成果,一次性覆盖世界模型、具身基础模型、智能体、策略优化框架、与数据闭环平台全链路技术,并在相关研究方向实现多项行业首创。
从首次在四足机器人世界模型中引入物理约束,到首个自进化 4D 信念导航智能体,再到首个真实户外轮足机器人大规模数据基准,每一项都直指具身智能落地真实场景的核心痛点,物理真实性、长效记忆与闭环迭代等。
云深处具身大脑的架构由此被清晰勾勒出,试图回答具身智能如何扎根真实物理世界,读懂人的意图、适配人的需求,并在持续交互中自主迭代进化,成为可信、可靠的智能搭档。
当行业仍多用零散 Demo 证明「我能做」时,这套成果尝试将具身智能从单点的能力突破,推进到面向真实场景的系统性技术建设。
这不仅为机器人在巡检、配送等场景中的长期可靠运行提供了新的研究思路,也为观察具身智能如何在真实场景中工作并实现规模化落地,提供了一个值得关注的样本。
世界模型 DR-WM-1.0:引入物理约束性,预见真实的未来
世界模型是具身智能走向真实世界的重要「训练场」。传统机器人训练依赖真实环境中的反复试错,周期长、成本高;而新兴的视频生成式世界模型虽然能够模拟丰富的视觉场景,却普遍缺乏对真实物理规律的准确建模,难以可靠预测机器人动作的实际后果。
基于视频生成的世界模型,可以生成机器人穿过雪地的精致视频却忽视了极低的摩擦会导致打滑。
视觉上的合理,不等于动力学上的可行,这正是现阶段生成式世界模型用于机器人决策时最危险的断层:像素空间的美学想象能力难以转换为用于具身智能的物理想象能力,而云深处科技发布的 DR-WM-1.0 则直击这一断层。
云深处科技联合浙江大学、北京理工大学、清华大学、麻省理工学院和伊利诺伊大学发布的 DR-WM-1.0,在四足机器人领域的世界模型中首次引入摩擦力、粗糙度与刚度等物理特性,在传统的基于视频生成的世界模型基础上加入了进行大规模训练的物理属性先验模块,使得世界模型预测未来的画面,不仅真实还能符合物理规律。
模型基于 258 万张图像与超 10 万段真机片段预训练,在保证泛化性的同时:双 ControlNet 架构将场景几何与相机运动引入视频生成,自回归推理延续机器狗与控制器状态,使仿真进程与真实控制闭环保持一致。
图 1 DR-WM 的整体流程与不同接触条件下的运动表现
这相当于为机器人提供一个行动前的「物理预演器」,帮助它提前判断:这条路走上去会发生什么,怎样走更稳妥。
DR-WM 将环境感知、物理预测与行动决策连接起来,为缩小视觉真实感与物理真实性之间的差距提供了一条可分析、可验证的技术路径。
以雨雪后的变电站巡检为例:面对一条湿滑近路与一条绕行路线,机器人可以先分别「预演」,预判打滑、姿态失稳与前进受阻的可能,再结合安全风险与通行效率作出决策。
具身基础模型 DR-VLA-2.0:理解人类社会规则,让机器人真正「听懂」
预演能力就位,机器人得以走向真实的道路与工位——但下一个考验随即而来:机器人如何更好地融入人类生活,理解人类的社交行为?
机器人要真正融入人类社会,奔赴街道、园区、物流配送等一线场景,导航不能只解决路径规划,还要具备指令理解、障碍物避让、动态环境实时应对的综合能力。
然而机器人示教依赖遥控操作,采集成本高,难以覆盖丰富的环境与交互情境。
虽然机器人可以借助海量人类第一视角视频,学习绕障、让行和路径选择等导航经验,但人类与机器人的相机视角、成像特征和运动方式不同,视频也缺少机器人能够直接执行的动作标签。
如何从普通网络视频中提炼可迁移的导航知识,并将其转化为机器人可执行的轨迹,是导航方向聚焦的核心问题。
云深处科技联合来自麻省理工学院、伊利诺伊大学厄巴纳香槟分校、清华大学、浙江大学的研究者,探索「无动作标签的人类视频预训练—机器人示教适配」的四足机器人导航学习路径。
团队构建的 EgoLynx 数据集,整合 1 万小时人类第一视角网络视频与 2000 段机器人示教片段,创新利用 DISR 模块,机器人得以从海量视频中学习行为模式、理解交通规则与导航规则、理解人类的意图、学会社交礼仪,具身智能的拟人化程度得到提升。
图2 DR-VLA 方法概览。左侧为人类第一视角视频,中间为三个专家及机器人数据,右侧为未来场景表示与预测轨迹。人类视频提供理解与预测监督,机器人示范进一步提供动作监督
技术上,这是首个基于域不变场景表征(DISR)的四足机器人导航范式。
人与机器人视角分属不同域,跨具身学习的关键,是找到两个域之间通用的场景表征——DISR 融合场景语义、空间定位与时空关系,让模型聚焦「有什么、在哪里、彼此如何关联」,以场景结构建立跨具身迁移接口;Mixture-of-Transformers 架构让理解、预测、行动协同,兼顾部署效率。
1 万小时数据支撑,收益可量化:
在 EgoLynx-Robot 测试集评估中,导航综合评分 QNS 提升约 5%,最终航向误差降低 14.6%。在这项研究的助力下,机器人在社区与园区「最后一公里」配送等场景中,有望结合路线指令预判行人与障碍变化,更自然地融入人车混行的日常空间。
行走之外,精细操作是机器人落地真正的挑战。
在操作方面,当前具身模型难以突破的固有缺陷是语言监督太弱,即「听不懂语言和动作的关系」;在长程复杂操作的推理中,模型常受大规模视觉监督主导,即使人们改变语言指令,机械臂也只会原样执行或犹豫不决,难以理解语言究竟如何指挥动作;插拔、擦拭等接触丰富任务中,语言、视觉与力反馈事实上分属不同通路,缺少统一、可解释、可持续修正的运动表达,即操作可控性 (manipulation steerablity) 不足。
云深处科技提出自研原子运动坐标大模型,首次将语言控制与力反馈纳入同一运动坐标框架,把机械臂运动拆解为 13 个原子坐标 (atomic coordinate),建立运动的「统一坐标语言」,通过第一阶段屏蔽视觉的训练,建立语言与原子动作真正对齐的映射,在后续阶段引入力反馈修正动作,让机器人「听得懂、看得见、感得到、改得动」,语言对运动方向的控制效果可直接检验和量化。
图3 固定图像与状态时,仅改变正负原子提示,末端平移和旋转轨迹随之产生方向相反的响应
实验中,在单原子与双原子动作的相反指令分离率上分别达到 92.5% 与 83.1%;在未见布局的真实双臂任务中,任务进度提升至 87.8%;接入力反馈后,插头插接与花瓶擦拭等接触任务,进度进一步提升至 78.5% 与 75.2%;在数据分布外 (OOD) 的语言泛化和力响应任务上的成功率,超越 PI05、ForceVLA、LA4VLA 等现有基线,达到当下业内领先水平。这一能力可延展至电力柜操作、连接器插接与零件对位等电力场景作业,具备重要的落地实用价值。
策略优化框架 DR-APO:
成功率提升至 89.55%
导航与操作的模型相继就位,但模型能力要持续变强,绕不开同一个问题:
怎么训练?现有强化学习方法高度绑定特定策略表征——专用模型、针对性优化,一套策略往往只能覆盖单一任务。当基座模型规模扩张、动作表征日趋多元,训练范式本身成为整条链路的瓶颈。
云深处科技联合浙江大学提出 DR-APO——首个表征解耦的通用生成式策略强化学习框架,将策略改进与底层策略表征彻底解耦,实现从连续控制策略的从零训练到具身导航策略后训练的统一强化学习优化。
图4 DR-APO 将优势引导的目标改进与适配策略表示的动作拟合结合,从连续控制验证到具身导航后训练
核心机制「优势引导的目标改进」系首次提出:
仅基于单次执行动作的局部优势梯度方向与优势重加权构建改进动作目标,将策略改进转化为独立于策略参数化的目标分布优化问题,彻底摆脱对策略显式似然计算以及推理阶段多候选动作 Critic 筛选的依赖。「表征兼容的直接动作拟合」进一步将统一动作空间优化目标映射至高斯、扩散与流策略,克服了传统原生拟合中局部改进信号在多步生成过程中被削弱的难题。
值得关注的是,云深处科技 DR-APO 的通用训练效果甚至超过了专模专训。
在 5 项 MuJoCo-v5 连续控制基准测试中,DR-APO 在扩散策略上十项指标九项第一、在流策略上十项指标全部第一,取得最佳单策略综合性能;在具身视觉导航后训练中,预训练模型 NavDP 的仿真成功率从 70.33% 提升至 89.55%,提高 19.22 个百分点;在云深处科技山猫 M20 轮足机器人真实场景测试中,导航成功率从 25% 大幅提升至 65%。
DR-APO 为跨异构表征的策略学习与具身大模型后训练提供了高效、通用的技术路径,直接支撑导航与操作等模型的后训练——单一框架,驱动全链路模型统一进化。
具身智能体 DR-Agent:
首个持续自进化的具身导航智能体
训练引擎就位,机器人能跑、能操作、能自进化——还差一块拼图:会思考。执行之外,机器人还要判断与分析,这需要记忆。
真实环境持续动态变化:家庭物品被随手挪动、酒店布局每日调整、仓库货物不断进出。
传统机器人依赖固化的环境记忆,变化一旦超出先验范围,「记忆过期」即导致任务失败——记忆固化与适配不足,是具身智能体长期部署的核心难题。
本次云深处科技联合加州大学圣地亚哥分校和浙江大学发布的 DR-Agent 是首个面向持续演化世界的自进化 4D 信念具身导航智能体。
团队针对「不可见物体移位后的持久导航」提出 EvolvingNav 方法:
搭建时间索引的预测 4D 信念模型,配套事件驱动的「预测-观测-重规划」完整滤波器,让机器人结合抵达时间完成时序推理、依靠视觉完成目标校验——它拥有记忆,且能根据记忆不断优化行为策略,实现人机交互场景下记忆体系的动态迭代与持续更新。
图5 DR-Agent 总览图
配套构建的 EvoWorldBench 评测基准,基于真实人类活动轨迹构建,包含 54 个仿真场景、超过 80 万条任务实例、总计约 23.9 万次物体动态状态变更。
实验验证 DR-Agent 在时序预测、证据更新与故障恢复能力上显著优于主流基线方法,并在 FindingDory、GOATBench 等评测基准上取得领先综合性能。
从居家服务的长期自主作业、共享空间的跨时段连续运行,到仓储物流与工业巡检中,以预测式动态记忆辅助物品查找与巡检路径调整——会自我更新的记忆,决定机器人能否从「演示一次」走向「长期在岗」。
数据闭环平台 DR-Benchmark:833.6 小时、3294.7 公里真实作业采集
无论预演、交互、训练还是记忆,这一切的起点与归宿,都是同一件事:数据。行业长期面临两块短板:
其一,已有机器人数据与语言导航数据各自只覆盖一部分信息,能将环境感知、行为意图等监督信号与真实连续轨迹完整关联的数据仍然缺失;
其二,感知、导航、未来预测与场景重建使用不同数据与协议,难以在同一平台和场景分布上开展一致分析。数据不通,一切模型能力的比较与迭代便无从谈起。
云深处科技联合伊利诺伊大学厄巴纳香槟分校、香港科技大学、浙江大学、清华大学、麻省理工学院发布 DR-Benchmark 数据闭环平台,其核心数据集 LynxScenes,是首个针对轮足机器人真实户外场景的大规模数据集,弥补了真实具身导航场景的数据缺失,填补了评测基准空白。
图6 LynxScenes 总体框架,涵盖真实机器人采集、多模态观测、空间与行为标注,以及四项下游任务
基于云深处科技山猫 M20 轮足机器人,团队累计完成 833.6 小时、3294.7 公里的真实作业采集,构建约 10 万段导航片段、300 万个标注帧,提供三维物体、道路结构、行为指令与专家示范轨迹四类监督,覆盖 27 类物体、4 类道路结构、3 个层级、20 类导航指令。
LynxScenes 首次将指令理解、环境感知、未来预测与场景重建四项任务统一至同一套真实数据基准,并据此对 25 个代表性模型完成系统性「体检」,重新定义了具身导航的评测维度。
从校园、社区与园区配送中,机器人对通行、等待与绕行的实时决策,到厂区巡检中狭窄通道与临时障碍的路径调整,再到研发团队利用真实记录回放问题和模型比较,DR-Benchmark 为各行各业提供基准与模型开发基础,也让真实场景的数据持续回流,成为具身大脑不断进化的源头活水。
一块块技术拼图次第归位、紧密咬合,云深处具身大脑(DEEPRobotics-Brain)的技术骨架已然成型。
本轮密集科研布局中,云深处科技持续攻坚全链路核心难题,跳出行业单点、割裂的研发惯性,直面真实物理世界下的具身智能挑战,探索一条可验证、可迭代、可迁移的前沿技术路线。
从物理预测到动态记忆,从策略优化到数据基准,各项技术突破环环相扣、互为支撑。
这套体系化探索,为多形态机器人落地研发筑牢根基;以统一评测基准凝聚行业共识,推动赛道告别零散试错、转向体系化攻关,为具身智能赋能产业发展、实现人机协同的长远愿景夯实前沿技术底座。







