你有没有玩过那种梦，梦里你在一个陌生的房子里走来走去，房间会不断延伸出新的空间，但你没办法把墙上的画换掉，没办法把窗帘的颜色改成你想要的样子。你只能往前走，走进下一个房间，然后下一个。
这其实就是现在大多数AI视频世界模型的处境。
过去两年，一堆叫得上名字的项目，LingBot-World、YUME、HY-World，都在做同一件事：让AI根据你的操作，源源不断地生成一个可以走动、可以探索的虚拟世界。你按下前进键，摄像机往前移动，画面跟着刷新出新的街道、新的房子。这已经很了不起了，但如果你仔细想想，你会发现一个问题：这些模型只会往前生成新内容，却几乎不会回过头去修改已经生成的东西。
想给街边加一盏灯？想把下雨天改成晴天？想让某个招牌上的字换成别的字？大部分现有模型要么做不到，要么只能在开局之前设定好，中途没法改。
这就是本文要解决的核心矛盾：世界模型的探索能力已经很强了，但编辑能力几乎是空白。
一个由南洋理工大学和StepFun团队做的项目，叫EditWorld，就是冲着这个空白去的。
先搞清楚，现有模型到底卡在哪儿
在EditWorld出现之前，这个领域的进展基本沿着两条线走。
第一条线是把摄像机控制做得更准。比如LingBot-World把摄像机的位置和朝向编码成一种叫Plücker坐标的空间特征，让每一帧画面都能精准对应到你想要的视角。HY-World 1.5用的是叫PRoPE的技术，把相机姿态直接塞进视频token里当作位置先验。这些工作解决的都是"我想往哪走，画面就该往哪变"这个问题。
第二条线是让模型能听懂文字指令去触发新的剧情事件。YUME 1.5支持文字控制世界里发生什么事，比如"天开始下雨了"。LingBot-World 2.0能处理多种文字驱动的事件。
但这两条线加起来，仍然缺了一块。触发一个新事件，和修改一个已经存在的东西，是两码事。前者是往故事里加一页新内容，后者是把已经写好的某一页涂改掉。已有的模型几乎全都只会做前者。
引用块：世界模型*：一种能够根据用户输入（比如按键、文字指令）持续生成连贯视频画面的AI系统，让用户感觉自己在一个可以探索、可以互动的虚拟世界里走动。
自回归生成*：模型每次只生成一小段内容，并且这段内容依赖于前面已经生成的所有内容，像接龙一样一段接一段往下写。
再加上参考图片这件事。像XGEN-JING和ABot-World这类模型，能在开局的时候让你上传一张参考图，把某个角色或者某种风格的身份信息注入进去。但问题是，这个参考图只能在最开始用一次。你没法在探索到第三分钟的时候，突然掏出另一张参考图说"把这个东西加进画面里"。
这就好比你在玩一个绘图接龙游戏，第一个人画完之后传给下一个人，下一个人只能在原有画面基础上往外延伸，却不能拿起橡皮擦去改动已经画好的部分，也不能中途插入一张自己带来的贴纸。如果这个规则一直不变，整幅画会越画越长，但永远没法被真正"打磨"，因为没有人能回头修正。
Gated Causal Attention：让模型既能往前走，又能听懂中途插进来的指令
EditWorld的第一个核心设计，叫Gated Causal Attention（门控因果注意力）。
先说清楚这里的难点在哪。自回归生成要求模型必须遵守因果律，就是说生成第5秒的画面时，只能参考前4秒已经生成的内容，不能偷看未来。这个规则很重要，因为真实世界的时间是单向的，你没法先看到结果再倒推原因。
但编辑指令这个东西，天生就是"随时插入"的。用户可能在第3秒说"把天空变成晚霞"，也可能在第10秒说"再加一只小狗"。这些指令是分散在时间轴上、断断续续出现的，而且有些指令只在某一段时间内生效，过了那段就该恢复正常叙事。
引用块：因果注意力*：一种让模型在生成当前内容时只能看到过去信息、看不到未来信息的机制，保证生成过程符合时间上的先后顺序。
EditWorld的做法是，给每个视频片段配上两类文字描述：一类是场景描述，描述画面里不变的静态内容；另一类是编辑指令，只有在这段视频被标注为"编辑进行中"的状态时才会被激活。换句话说，模型脑子里始终装着"这个世界本来长什么样"，同时在特定时间窗口内额外接收"现在要往上面动手脚了"的信号。
更细一点的设计是，为了避免指令切换的时候画面突然跳变，每个视频片段不只看当前这一刻的提示词，还会往回看两个片段之前的提示词。这样即使编辑指令刚刚切换，画面也不会像被硬生生剪断一样突兀，而是有个自然过渡的余地。
这个设计放在生活里想，有点像你请了一个装修工人给你改房子。如果工人每接到一条新指令就立刻无视之前正在做的事情，直接从头开始按新指令来一遍，那你的房子永远处于半成品状态，上一秒刷的墙这一秒又被铲掉重来。但如果工人能记住最近做过的两三件事，理解现在这条新指令是要在原有工作基础上叠加还是替换，装修过程就会顺畅很多，房子也不会突然从欧式风格跳到工业风又跳回田园风。如果不做这个短期记忆的设计，实验里能看到的直接后果就是画面在指令切换的瞬间出现剧烈的场景突变，和之前的内容完全脱节。
对于参考图片，EditWorld用的是单向门控自注意力。参考图的token只能看自己内部的信息，不会被视频画面反过来影响；而视频画面能不能看到参考图，取决于当前生效的文字提示里有没有提到这张参考图相关的语义。这个设计的用意很直白：既要让参考图的细节保持纯粹、不被视频内容污染，又要让参考图的介入时机跟文字指令精确对齐，做到"什么时候提到，什么时候才起作用"。
这里有个很巧妙的细节。团队给参考图的token分配了一个负的时间坐标偏移，让它在模型眼里显得像是"来自过去很远的地方"，这样做的目的是防止模型直接把参考图的画面原封不动复制粘贴进视频里，而是逼着模型把参考图当作一种提示信号去理解和转化，而不是简单地挪用像素。
论文里有个消融实验很能说明问题。如果把这套单向注意力换成让参考图和视频互相都能看到对方的双向注意力，参考图里的文字招牌细节就会被视频画面反过来影响，结果招牌上原本清晰的字迹变得模糊难辨。这说明这个"只准单向看"的设计不是随便设的规矩，而是真真切切地在保护参考信息不被稀释。
Sparse Context：给记忆设一个上限，但要聪明地挑该记住什么
第二个核心设计叫Sparse Context，稀疏上下文机制。
自回归生成有个天然的麻烦：视频越生成越长，如果模型要记住从头到尾所有帧的信息，计算量会跟着视频长度一起爆炸式增长。这就像你要求一个人复述过去一整天发生的每一件事的细节，时间越长，需要调用的记忆就越多，脑子迟早会被撑爆。
EditWorld的解法是给上下文设一个固定预算。生成当前片段的时候，永远保留最初的那个片段（叫sink chunk，锚定初始世界状态），以及最近的两个片段（保证短期的连贯性），除此之外，再从剩下的历史里挑出k个"最相关"的片段拿进来参考。
怎么判断哪些历史片段最相关？团队用了个挺聪明的办法：把每个片段的查询向量和历史片段的键向量都做平均池化压缩成一个紧凑的表示，然后用余弦相似度打分，挑分数最高的那几个。这样一来，不管视频生成到多长，参与计算的上下文数量永远是固定的那几块。
引用块：KV缓存*：Transformer模型在处理序列时保存下来的键值向量，可以避免重复计算，是加速长序列生成的常用手段。
余弦相似度*：衡量两个向量方向是否接近的一种数学指标，数值越接近1表示两者越相似。
这个设计放在生活里，很像你去整理一个存了十年照片的手机相册。你不可能每次找照片都把十年的照片全部翻一遍，那样效率太低。聪明的做法是，永远置顶那张最有纪念意义的开机照（对应sink chunk），保留最近几个月拍的照片方便随手查看（对应recent chunk），然后再靠搜索关键词，从剩下的几万张里精准挑出几张和你现在要找的内容最相关的（对应TopK检索）。如果不这么做，你每次找照片都得把全部相册翻一遍，手机会卡到你想砸了它，这正是不做上下文压缩时自回归模型会遇到的计算爆炸问题。
训练阶段团队也没有偷懒，用了一个对应的稀疏策略：永远保留锚点和最近的片段，同时从剩下的历史里随机抽一部分参与训练。这样模型在训练时就见过各种各样残缺不全的历史上下文，等到真正推理的时候面对固定预算的稀疏上下文，也不会因为"没见过这种情况"而表现失常。
训练这个模型，比想象中麻烦得多
光有架构设计还不够，怎么训练也是个大问题。
团队一开始尝试只用自回归目标去训练模型，结果发现一个很有意思的现象：模型学会了把视频"接着往下续写"，但对用户输入的各种条件变得不敏感了。换句话说，模型越来越擅长"顺着生成"，却越来越不擅长"听指挥"。
这其实是个很好理解的权衡。自回归训练本质上就是在教模型"看着前面的画面，猜下一步大概率是什么样子"，这种训练方式天然会让模型倾向于依赖历史画面的惯性，而不是主动去响应新出现的指令。这就好比一个学生如果只靠刷题来学数学，刷得多了确实解题速度会变快，但如果题目稍微变个说法，他可能反而抓不住重点，因为他学会的是"套路"而不是"理解题意"。
EditWorld的解法是把自回归目标和双向目标一起训练，两者共享同一套模型参数，只是注意力模式不同。双向模式下模型可以同时看到过去和未来的画面，这种全局视角更容易学会准确响应各种输入条件；自回归模式则专注在保证因果生成的流畅性。两个目标加权求和，构成最终的训练损失。
这个设计带来的提升是实打实的。论文的消融实验里，只用自回归目标训练的模型，编辑总分是69.7，加上双向目标联合训练之后，编辑总分直接跳到80.0，其中一项叫做"细节准确度"的指标更是从34.9翻了一倍多到53.2。这说明双向监督对于让模型准确抓住编辑指令里的细节要求，作用非常关键。
除了这个，团队还引入了一个叫annealed self-resampling（退火式自重采样）的策略。训练初期，模型看到的历史画面全都是干净的、真实标注的画面；随着训练推进，逐渐把一部分真实画面替换成模型自己生成的画面，让模型慢慢适应"自己生成的东西不一定完美"这个现实。
这个思路其实很像教小孩子学骑自行车。一开始家长会一直扶着车后座，保证孩子不会摔倒，这时候孩子看到的"世界"是完全被大人矫正过的。但如果家长永远不撒手，孩子永远学不会自己保持平衡，一旦真正放手骑车，遇到一点点晃动就会立刻摔倒，因为他从来没有在"不完美"的状态下练习过纠正自己。退火式自重采样就是让模型逐渐经历"自己生成的画面有瑕疵"这种情况，学会在误差累积的情况下依然保持稳定，而不是只会在完全干净的理想条件下工作。
最后，为了让模型能实时生成，团队还做了一次两阶段的蒸馏，先用Phased Consistency Model把去噪步数压缩到4步，再用Self Gradient Forcing进一步打磨生成质量和长视频下的时间一致性。
数据从哪里来，这可能是最容易被忽视但最费功夫的部分
做这类研究，最头疼的往往不是模型架构，而是找不到匹配的训练数据。
已有的导航类数据集，比如Sekai、OmniWorld、SpatialVID，全都是记录探索过程的视频，压根没有"编辑"这个概念。而已有的视频编辑数据集，比如Ditto-1M、OpenVE-3M，虽然有"编辑前"和"编辑后"两个版本的视频，但缺的是中间那个平滑过渡的过程，画面是直接从A跳到B的，没有渐变。
EditWorld团队干脆自己动手做了一整套数据合成流水线，分成全局编辑和局部编辑两类。
全局编辑处理的是整体画风的变化，比如季节、天气、时间、色调这类改变。具体做法是先建一个包含约200种主要属性和100种辅助属性的词库，用Qwen3.6-27B这个大语言模型根据视频内容挑一个合适的属性组合，生成具体的编辑指令，再用Qwen-Image-Edit把某一帧图片按照这个指令改出编辑后的效果。有了编辑前和编辑后两张关键帧，团队用一个叫Wan2.2-FLF2V-A14B-Control的首尾帧视频生成模型，把从原始状态过渡到编辑状态的中间过程给"补"出来，还用深度图作为控制信号，防止过渡过程里镜头和场景结构跑偏。
局部编辑处理的是具体元素的增删改，比如加个物体、去掉个东西、换个颜色。这部分数据主要靠对公开编辑数据集做两阶段的质量筛选，先判断差异是不是局部编辑，再评估语义一致性和整体画质，然后用类似的方式生成过渡片段。
引用块：VLM*：视觉语言模型，一种既能理解图像内容又能生成文字描述或做问答的AI模型，常被用来自动生成标注或做质量评估。
每段合成出来的视频，都配了四样标注：场景描述（不变的部分）、编辑指令（变化的部分）、编辑状态（划分成编辑前、编辑中、编辑后三个阶段）、以及相机姿态（用一个叫ViPE的工具重新估算）。这套标注体系把"什么在变"和"什么不变"彻底拆开来讲清楚，这也正是前面提到的Gated Causal Attention能够工作的数据基础。
参考图片这部分也很讲究。局部编辑数据里，团队用Grounded-SAM先把目标物体从画面里分割出来，再用Qwen-Image-Edit修补不完整的区域，做出一张干净的参考图。全局编辑数据里，团队故意让参考图和原视频在场景布局上有所不同，只保留想要传递的编辑属性（比如天气、风格），这样模型就不能偷懒直接照抄参考图的构图，而是被迫去学习"提取属性、迁移到新场景"这件更难的事。团队还专门重写了配套的文字指令，把参考图里已经能看出来的内容从文字描述里删掉，逼着模型必须靠看图才能补全信息，而不是靠读文字就蒙混过关。这个做法叫防止语义泄露，说白了就是不能让模型抄近道。
WBench-Editing：给"编辑能力"专门定一把尺子
之前提到的WBench，是个专门评测视频世界模型交互能力的基准测试，但它的重点主要在导航和视频质量，缺乏针对编辑能力的系统化评测。
团队在此基础上又做了一个子基准，叫WBench-Editing，大概150个测试案例，每个案例长度在240到480帧之间，包含一到三条连续的编辑指令，一部分案例还带有参考图片。评测维度分成六大类：编辑（Editing）、导航（Navigation）、画质（Quality）、场景设定（Setting）、一致性（Consistency）、物理合理性（Physical）。其中编辑这一项又细分成三个角度：修改有没有被正确执行、编辑后的画面质量如何、和编辑无关的内容是不是被完好保留下来。
结果出来之后，差距相当明显。
| 模型 | 总分 | 编辑分 | 导航分 | 画质分 | 场景分 | 一致性 | 物理分 |
|---|---|---|---|---|---|---|---|
| YUME 1.5 | 67.0 | 54.8 | 72.9 | 76.1 | 53.5 | 84.3 | 62.0 |
| LingBot-World 2.0 | 66.1 | 47.2 | 70.7 | 74.4 | 61.3 | 82.2 | 66.2 |
| DreamX-World | 65.9 | 53.9 | 70.4 | 73.3 | 55.7 | 82.0 | 63.0 |
| LingBot-World | 66.0 | 54.8 | 71.3 | 75.8 | 56.3 | 73.4 | 63.3 |
| **EditWorld（本文）** | **73.8** | **80.0** | 74.3 | 74.4 | 60.9 | 83.8 | **67.9** |
总分73.8，比排第二的YUME 1.5高出6.8分，编辑分80.0，比第二名足足高出25.2分。这个差距意味着什么？意味着大约每四次编辑指令里，其他模型就有一次会执行得不够准确或者破坏了原有场景，而EditWorld能明显更靠谱地完成任务。
在带参考图的子测试集里，EditWorld同样拿到最高的总分74.0和编辑分74.6，比之前支持参考图的模型XGEN-JING高出将近11分。更关键的是，XGEN-JING这类模型的参考图只能在开局用一次，没法在探索过程中途插入新的参考图，而EditWorld可以在任何时候灵活引入新的参考内容，这才是真正意义上的"交互式编辑"，而不是"开局设定"。
为了证明这个专攻编辑能力的模型没有丢掉原有的世界建模基本功，团队还把EditWorld放到原版WBench上跑了一遍。双向模式下拿到81.2分，排在所有评测模型的第四名；自回归模式下是77.7分，经过4步蒸馏的快速版本能到79.4分。这说明专门为编辑做的这些改造，没有以牺牲整体生成质量为代价。
写在后面
读完这篇论文，最触动我的其实不是那些技术细节，而是一个特别朴素的观察：现有的AI世界生成技术，在"创造"这件事上已经很成熟了，但在"修改"这件事上几乎是一片空白。
这两件事听起来很像，但背后需要的能力完全不同。创造是往前看，修改是回头改。就像写小说，很多AI写作工具能帮你续写下一段，但很少有工具能帮你精准地把第三章里某个角色的性格特征改掉，同时不影响第四章已经写好的剧情走向。EditWorld做的事情，某种程度上是在给视频生成领域补上这个"回头改"的能力。
论文里有个细节我觉得特别值得单独说一说：负时间坐标偏移那个设计。给参考图的token分配一个"来自遥远过去"的虚拟时间戳，逼着模型不能直接复制粘贴，而要真正理解和转化参考内容。这个思路挺聪明的，它不是靠增加一堆规则去约束模型，而是巧妙地利用了模型本身对时间顺序的敏感性，用一个很轻的架构改动解决了一个原本可能需要复杂后处理才能解决的问题。
还有一个问题这篇论文并没有完全回答：当编辑指令之间出现逻辑冲突的时候会怎样？比如先让天空变成暴风雪，紧接着又要求加入盛开的樱花，这种物理上矛盾的连续编辑，模型是会智能地做出取舍，还是会生硬地叠加导致画面失真？论文的评测体系里有"物理合理性"这一项，EditWorld在这项上拿到了最高分67.9，但具体到极端矛盾指令下的表现，还没有看到详细的案例分析。这大概是留给后续研究的一道题。
Q&A
Q1：EditWorld是什么？
A：EditWorld是南洋理工大学和StepFun团队提出的视频世界模型，专门解决现有AI世界生成模型只能往前生成新内容、却无法精准修改已有画面的问题，支持流式编辑指令和参考图片的灵活引入。
Q2：EditWorld相比其他世界模型的核心优势是什么？
A：在WBench-Editing基准上，EditWorld总分73.8，编辑分80.0，远超第二名YUME 1.5的编辑分54.8。它还支持在生成过程中任意时刻插入参考图片，而不像XGEN-JING等模型只能在开局设定一次。
Q3：EditWorld是怎么解决长视频生成时计算量爆炸的问题的？
A：通过Sparse Context机制，只保留初始锚定片段、最近两个片段，再用余弦相似度从历史里检索最相关的几个片段加入计算，让上下文预算始终保持固定，不随视频变长而无限增长。
