可编程的世界模型,让具身世界生产规模化!
多任务、多场景、多视角,具身视频生成走向规模化。实验室里,机械臂摇匀试剂;工厂里,机械狗巡检、转向、爬上台阶;市场里,人形机器人搬货上架;手术台上,灵巧手穿线打结......画面越丰富,越照出一个现实:机器人要走进千行百业,缺的不是模型,而是覆盖不同物体、不同空间、不同视角的交互数据。靠实机一遍遍采集,成本高、周期长,换个场景就得重来。更关键的是,数据生产必须可控:物体放在哪里、机械臂怎么动、相机沿哪条路径看,都该像参数一样随时可调。谁能把这件事做成,谁就握住了具身智能规模化的入口。
考拉悠然联合同济大学推出的悠然无界系列代码驱动具身世界模型框架BWM-Forge,给出的正是这套可规模化的解法:它把机器人本体、场景物体、动作过程与相机视角写进一段可执行的三维场景程序。先用代码搭出世界骨架,机器人怎么动、物体在哪里、镜头从哪儿看,一目了然;再交给视频生成模型补上材质、光影与环境细节。换本体、换场景、换机位,都不必从零重来。对数据生产而言,成本结构从“每次重拍”变成“一次搭建、多次复用”。
代码搭骨架,生成补细节;任务随时可改,世界一次搭建、多次复用。
图 1:BWM-Forge——以可执行场景程序连接机器人任务与高保真视频
BWM-Forge 把物体、运动、相机都写成可改参数,为具身生成搭起可操作的世界底座。
一句任务描述、一份机器人资产,就能启动生产。系统提供空间语义驱动、运动先验驱动、真实示范驱动三种范式,由Agent 搭建场景、导入本体、编排动作与镜头,先产出检查结构与运动的代理视频;再调用视频生成模型,结合代理视频、参考图像与提示词,补齐材质、光影和环境细节。代码里的场景与动作,就是高保真画面的共同参照。
任务输入→ 场景程序 → 代理视频 → 高保真视频
修改从此有了明确入口:调物体,改场景参数;换动作,编辑运动过程;切视角,重排相机。已有程序还能直接复用到新机位、新外观,一次构建撑起一批生成需求——对按条计算成本的数据生产来说,这是最实在的降本。
二、多任务、多场景、多视角,一次构建能复用多少次?本体可以换、场景可以换、机位也可以换。BWM-Forge 把这些变量收进可编辑的场景程序,让“谁来做、在哪做、从哪儿看”都有明确开关。对需要批量产出训练数据的团队来说,同一份投入可以摊到更多任务上。
多任务|从机械臂到人形机器人,一条产线覆盖更多本体
厨房里,单臂机器人在柜体与抽屉间取物;实验台前,双臂夹爪协同过滤;镜头推近,双臂灵巧手穿线缝合。画面一转,四足机器人穿过会议室与办公室;另一段里,人形机器人开门、进屋、转身坐下。同一套流程,换的是本体与任务,不变的是可复用的世界骨架。
从桌面精细操作到房间级全身移动与连续交互,多样本体与任务被收进同一条可编程产线,具身数据的覆盖面由此打开。
支撑这些演示的,是同一套代码驱动工作流。接入新的机器人资产、定义任务目标,再结合可用的运动信息继续构建与调整,就能延伸到新的本体与任务。从桌面一隅到整间房,内容边界跟着需求走,而不是跟着采集预算走。
图 2:覆盖机械臂、机器人等多类本体,展示抓取、操作、行走等多样具身任务
多场景|一段动作,换个环境就是一条新数据
同一个箱子,人形机器人搬了一次,环境却换了三回:市场里是摊位与遮阳篷,工业仓库里是挑高大堂与远处堆货,垂直农场里则是成排植物与配套设备。动作没变,视觉语境全变了。
一段代理视频,三种场景外观,三份可用数据。
三个版本共用代理视频与参考帧,机器人、箱子、货架、动作顺序与相机保持一致,只通过提示词改变环境材质、光照和背景细节——变量可控,复用才有前提。
场景不必为每种外观重搭一次。围绕同一任务持续切换视觉环境,一次动作构建就能产出多条差异化数据,边际成本被明显压低。
图 3:一段代理视频,三种场景外观——市场、工业仓库与垂直农场
多视角|换个机位,就多一份观察数据
四足机器人在工厂里行走、转向、爬楼梯。原始机位交代它与设备、楼梯的位置;跟随镜头贴着身体记录转向与行进;近似第一人称视角,把前方通道与台阶推到眼前。同一段动作,三种信息量。
任务只跑一条时间线,观察却能开出多个入口。
三路相机共享同一个三维场景、同一条运动轨迹与时间线,各自生成代理视频,再分别引导高保真生成。变的只是相机位置与运动方式,同一次交互就多出几组互补视角。
要看整体路线,还是身体姿态、前方通行空间?按观察目标编排镜头即可,已有任务不用重做,就能补上训练里最缺的那类视角。
图 4:原始、跟随与近似第一人称视角,共享场景和运动时间线;每个视角展示代理视频与最终生成结
可编程世界的背后,是一条覆盖构建、审查、渲染与反馈的Agent 流水线。
BWM-Forge用Harness系统调度四类 Agent,各管一段:
·预处理Agent|解析输入:核对机器人资产与运动数据,提取视觉信息。
·构建Agent|搭建世界:编写并执行场景与动画脚本,编排运动与相机轨迹。
·审查Agent|定位修正:对照画面、轨迹与执行记录排查问题,局部返工。
·渲染Agent|生成细节:调用视频模型产出高保真结果,并组织评估迭代。
自动评估盯住清晰度、颜色稳定性、运动平滑度与动作保真度,视觉语言模型再审真实感、物理与时间连贯性、任务语义一致性。两者连同用户反馈一起指向下一轮修改——质量不靠碰运气,而靠闭环。
图 5:Harness 连接输入处理、场景构建、审查与渲染、以评估和反馈组织迭代
一句话提需求,改动落到具体对象
构建与生成过程中,用户随时能看到阶段结果,用自然语言指出物体布局、机器人动作、相机视角或画面细节哪里要改。系统据此调整场景程序、运动参数或生成提示,并把更新后的结果交回确认。从提需求到看效果,人始终在回路里,迭代不必反复重跑,改动落在代码里,下一轮还能接着用。
一次任务收尾,就是下一次构建的起点
系统把建模与渲染记录提炼成可检索的规则,沉淀进经验库。工作台、实验室、厨房的跨场景搬运案例中,避障间隙、动作阶段、容器放置、相机取景等经验,都能结合新的物体尺寸与场景条件再次调用。
场景程序留住可编辑的任务,经验库攒下可调用的方法;越用越省,正是这套流程的价值所在。
四、从跑分到落地,可复用的世界能走多远跑分给出了最直观的答案。在15 项任务评估中,BWM-Forge 的画面表现与任务指令对齐能力保持稳定:VBench-Long 主体一致性 0.9721,高于 LingBot-World Base Cam 的 0.9480;背景一致性 0.9722,对比方法为 0.9578;RoboJudge-9B 指令对齐均分 3.33,对比方法 2.73。主体不漂移、场景不跳变、目标动作能完整呈现——对下游训练来说,这三项恰恰决定了这批数据能不能直接进训练集。
多任务拓本体覆盖,多场景丰视觉表达,多视角补观察维度。三条路径指向同一条主线:把场景、运动与镜头留成可编辑、可复用的程序,再交给生成模型补足视觉细节。每一次构建都不再是一次性投入,而是可累积的资产。
面向具身智能,BWM-Forge 为机器人视觉数据的规模化扩充提供了一条新路径。下一步,同济大学与考拉悠然将继续扩大任务覆盖、完善自动审查与生成流程,并进一步验证生成视频对下游机器人学习的实际增益。
以代码构建,以反馈打磨,让每次生成都成为下一次的资产。
开源共建,让具身任务可复现、可扩展
项目主页:BWM-Forge: Agentic World Programming for Embodied Intelligence
技术报告:
https://arxiv.org/pdf/2611.16221GitHub 链接:
https://github.com/Lcixs/BWM-Forge







