8 月的世界机器人大会(WRC)上,成立才 7 个月的章鱼动力(SynapX)发布了具身世界模型 SYNWorld V0.5。
展台上方有块大屏,机械臂在下面拼积木,屏幕上则把它的当前状态和模型预测的未来画面并排显示。如果你细节观察,会看到一个细节:预测画面总是能比机械臂的实际动作先一步出现。
但那时能获取到的信息并不太多,能知道的基本就是 MoT 架构、30 万小时数据,再加上 ACWM、WAM 两个缩写。
终于在上周五,章鱼动力在官方网站与微信公众号同步发布了一篇关于 SYNWorld V0.5 的技术博客,第一次完整公开了背后的 Scaling Engine、训练数据、模型架构和评测结果。
微信公众号:SYNWorld V0.5:从 Scaling Engine 到具身原生基础模型
官网:https://www.synapxdynamics.ai/blog/2
真机和仿真评测中,SYNWorld V0.5 都领先 π0.5 与英伟达 Cosmos3 Nano,视频生成的双盲评测也胜过了 Cosmos3 Nano。
章鱼动力今年 1 月成立,创始人都大龙是地平线的第 6 号员工。
公司的技术路线叫「脑-手-数据」:SYNWorld 世界模型是脑,OctoH-Hand 灵巧手是手,OctoSense 是数采方案,三者协同迭代。
全栈 Scaling Engine
SYNWorld 的背后,是一套把数据、训练和部署评测放在一起协同设计的基础设施,章鱼动力叫它 Scaling Engine。
V0.5 正是依托这套系统训练出的第一个版本。
它的出发点是 Sutton 那篇 The Bitter Lesson(苦涩的教训):能随算力扩展的通用方法,长期来看总会赢。
而章鱼动力在这之上又加了一个判断,Scaling 是「各向异性」的。
模型容量、数据规模、模态覆盖、任务与场景,这四个方向都能扩展。但同样的投入换来的提升并不一样,所以要靠实验找出当前阶段「斜率最大」的那个方向。
数据系统是一套自研的、基于 Ray 的分布式流水线,解码、筛选、标注、编码各自独立配置资源和并发。
计算、网络、存储也都做了协同优化,数据处理和训练共享同一个资源池,按需弹性扩缩。
甚至连运维都交给了 Agent,由它诊断瓶颈、编排实验。
训练系统则是一个组件化的统一框架,支持多任务联合采样、变长序列打包、自定义 Attention Mask 与上下文并行。
并行策略上,TP、PP、EP、CP、HSDP 按需组合,checkpoint 也是异步保存的。
这一整套系统级优化下来,训练效率提升了 10 倍。
30 万小时训练数据
SYNWorld 的训练数据总量超过 30 万小时,目前每天还在新增 1 万小时以上,覆盖 1000 多个场景、10 多种机器人本体。
数据层 | 规模 | 主要提供 |
|---|---|---|
通用图像/视频 | >10 万小时 | 世界知识、视觉结构、时间动态 |
Ego 第一视角 | ≈10 万小时 | 人类行为、交互过程、长时任务 |
UMI 数据 | >5 万小时 | 状态、动作与结果的对应 |
真机任务实采 | ≈3 万小时 | 精细操作、困难样例、能力边界 |
人类数据之所以能用起来,靠的是一套统一的 59 维动作表示。
除了相机和身体的运动、左右腕的位姿与夹爪开口,左右手各五个指尖的位置也被写进了动作空间。
人手数据和机器人数据,便能在同一套接口里一起训练。
至于人手数据的采集,章鱼动力用的是自研的肌电全模态数采方案。
戴一个腕部手环,就能靠肌电信号重建手部姿态,还能估计触觉信息,采集门槛也随之降低。
从视频生成出发
现在机器人大模型的主流做法是 VLA,比如 Physical Intelligence 的 π0.5,在视觉语言模型的基础上增加动作输出。
SYNWorld 走的则是具身原生世界模型路线,先学视频生成,再学动作,让模型理解物体如何运动、动作如何改变环境,再据此生成动作。
模型采用 Mixture-of-Transformers(MoT)架构,语言、视觉、动作三种模态各自保留参数,通过跨模态注意力交换信息。
预训练分两步,先用通用图像和视频学习视觉生成(GV),再加入 Ego、UMI 和机器人数据,联合学习视觉与动作(GVA)。
从同一个 GVA 底座出发,又后训练出了两个模型:
WAM(世界动作模型)负责执行任务,根据观测和指令,同时生成未来的动作和画面。
ACWM(动作条件世界模型)负责预演,给定一组动作,预测环境接下来会怎样变化。
博客里的 ACWM 演示中,操作员戴着手套做动作,模型实时生成机械手跟随动作的画面:
推理快 60 倍
世界模型每做一次决策,都要连带生成一段画面,推理速度直接决定了它能不能用在真机上。
环节 | 优化手段 | 优化前 | 优化后 |
|---|---|---|---|
单步推理 | 编译、FP8、CP4 | ||
编译、宽度切分、CUDA Graph、Winograd |







