Token导航 LogoToken导航

AI 资讯 · 科技行者

Velox为视频世界模型加入空间记忆提升生成速度

更新 2026-11-20科技行者正文 7296字阅读约 23分钟

你有没有玩过那种需要边走边记路的游戏?

比如在一个开放世界游戏里,你从家门口出发,一路往前走,走过商店、走过公园、走过桥。游戏引擎要做一件事:记住你走过的每一寸地方,这样当你回头的时候,看到的还是刚才那个商店,而不是凭空变成了一个加油站。

现在把这个场景换成AI生成视频。有一类叫"视频世界模型"的技术,你给它一个起始画面和一条运镜轨迹,它就能像游戏引擎一样,一帧一帧地把未来的画面生成出来。这东西现在挺火,因为它有可能成为交互式仿真的新接口,你动一下虚拟摄像机,世界就跟着往前"长"出来。

但这里有个麻烦事,而且是个挺致命的麻烦事。

**这类模型为了保证画面前后一致,必须记住所有已经生成过的历史帧,而记住的越多,生成下一帧就越慢。**

这不是一个"优化一下就行"的小问题,而是个结构性矛盾:你想要的长程一致性,恰恰是拖慢速度的元凶。新加坡国立大学的一篇论文,提出了一个叫Velox的方法,试图在不改动模型本身、不做任何重新训练的前提下,把这个矛盾给拆开。

为什么"记住一切"会变成灾难

先说清楚这个矛盾到底卡在哪。

视频世界模型通常是"分块"生成的,一段一段往外吐画面,术语上管这一段段叫chunk(视频块)。每生成一个新的chunk,模型都要去看一眼之前所有已经生成的chunk里的内容,这个"看"的机制在Transformer架构里叫注意力(attention),具体存储历史信息的东西叫KV缓存(Key-Value Cache,模型用来保存历史画面特征的内存结构,相当于模型的记忆库)。

问题在于,KV缓存是只增不减的。

生成第1个chunk的时候,历史几乎是空的,算得飞快。生成第48个chunk的时候,历史已经堆了47个chunk那么多,模型每生成一帧新画面,都要把这47个chunk的内容全部检索一遍。论文里给了具体数字:在第48个chunk时,用标准的密集注意力(Dense FlashAttention,对所有历史内容都不加筛选地做注意力计算的方法)单次注意力调用要花34.2毫秒,整个chunk的去噪(denoising,扩散模型从噪声逐步还原出清晰画面的过程)耗时要7.19秒。

这就好比你让一个人去图书馆查资料,第一天图书馆只有10本书,他翻得很快。第30天,图书馆已经堆了3000本书,而他每次查资料还是习惯性地把所有3000本书都翻一遍,哪怕他要查的内容可能只跟最近放进去的10本书有关。时间就是这样被白白耗掉的。

那有没有办法让他只翻该翻的书?这正是Velox想解决的事。

已有的"选记忆"方案为什么不够

在Velox之前,已经有研究者意识到不能"记住一切",得挑着记。

比如Context-as-Memory这类方法,会根据摄像机的视野重叠(field-of-view overlap)去检索历史画面,哪些历史帧跟当前镜头看到的区域重叠多,就调出哪些。还有VMem,用一种叫surfel(表面元素,一种用来表示3D表面局部区域的几何单元)的索引方式存储历史视角,方便重访。这些方法的共同思路是:不是所有过去的帧都同等重要,挑出相关的那部分就够了。

但这类"帧级别"的筛选有个粗糙的地方。

它是把整帧画面当成一个整体来判断相关不相关的,可是一帧画面里往往同时存在好几种内容:一条正在被重新铺设的路、一面没怎么变化的墙、一片刚刚转过来、之前从没见过的天空。这三样东西理应查询不同的历史记忆,但帧级别的方法只能给整个chunk派发同一套历史上下文,没法做到"分区对待"。

这就像一个翻译团队接到一份合同,合同里有法律条款、财务数字、还有一段广告语。如果你给整个团队统一发一本《法律词典》,财务部分和广告部分的人其实用不上这本词典,但没人给他们发别的参考资料。真正高效的做法应该是,让懂法律的人查法律词典,懂财务的人查财务手册,各管各的,而不是一刀切地给所有人同一份参考资料。

Velox要做的,就是把这种"分区查资料"的能力下放到视频生成里最细的颗粒度:不是整帧,而是帧里的每一个小区块。

核心思路:用几何关系当"路由器"

Velox的灵感来源挺有意思,它借鉴了计算机图形学里的逆向渲染思想,比如3D高斯泼溅(3D Gaussian Splatting,一种用三维高斯分布表示场景并实时渲染的技术)和神经辐射场(NeRF,一种用神经网络隐式表示三维场景的方法)。这些技术有个共通的认识:同一块场景的几何信息,只要知道了相机位置和深度,就能知道哪些历史观测和当前视角是对应的。

Velox把这个思路搬了过来,核心机制叫视锥体板对应(frustum slab correspondence)。

视锥体:

摄像机能看到的空间范围,形状像一个四棱锥,专业上称为视锥体(frustum)。

视锥体板:

把这个视锥体沿着深度方向切出一段区间,就得到一个带深度范围的"板"(slab),用来表示某个历史画面块对应的三维空间位置和深度跨度。

简单说,Velox做的事情是:给每一个历史画面块(KV block)算出它对应的三维空间位置和深度范围,再给当前正在生成的每一个区块也算出它对应的三维空间位置和深度范围,两者如果在三维空间里有重叠,就说明这块历史内容跟当前这块画面"长的是同一个地方",该拿出来参考。

这套机制听起来有点像给每个画面区块发了一张"地理坐标卡",卡片上写着这块内容对应现实世界的哪个位置、多远。生成新画面的时候,不再是翻遍所有历史,而是拿出当前区块的坐标卡,去历史记录里找坐标重叠的那几张卡,只调那几份记忆。

这就好比你搬家后要找水管工,以前的做法是把通讯录里所有认识的人都打一遍电话问"你知道水管工吗",现在的做法是直接查地图,看看附近哪个维修店离你最近,只联系那几家。如果你不这么做,继续挨个打电话问遍通讯录,结果就是:多数时间都浪费在联系根本帮不上忙的人身上,而真正该打的那通电话反而被淹没在一堆无关信息里。

深度从哪来:多重透视变形

但这里有个技术难题:当前正在生成的这个chunk,本身还是一堆噪声,模型还没画出来,哪来的"深度"信息去跟历史比对?

Velox的解法叫做基于时近优先的多重透视变形(recency-priority multiwarp)。

多重透视变形:

把之前几个已经生成完、有明确深度信息的chunk,往当前镜头的方向"投影"过去,看它们落在当前画面的哪个位置,用这种间接方式估算当前画面每个点的大致深度。

具体做法是,系统会缓存最近几个chunk里首尾帧的深度图,然后把这些深度图往当前视角做前向投影(forward warp)。对于当前画面上的每一个点,如果有多个历史缓存帧都投影过来了,就采用时间最新、且样本数量足够的那一帧的深度估计,中位数来定。

为什么要"时近优先"而不是简单取平均?

因为场景是在变化的。如果当前这个区域刚好是之前被遮挡、现在重新露出来的地方,用太旧的观测数据反而容易出错,用最近的、靠谱的数据更稳妥。但也不能死板地只用最新一帧,因为有时候最新的信息覆盖率不够,这时候就该让位给相对旧一点、但样本更充分的观测。

这有点像你问路,优先问刚从那条路走过来的人,因为他的记忆最新鲜。但如果刚好没人刚走过那条路,你退而求其次问一个几天前走过的人,总比完全没人问要强。如果系统坚持只信最新那一帧,哪怕那一帧根本没覆盖到这个区域,画面就会出现"深度空洞",没法判断这块该不该参考历史,等于让整个路由机制失效。

软融合:让几何证据和模型自身判断"商量着来"

算出几何重叠分数之后,Velox没有直接拿这个分数去"一票否决"或"一票通过"地决定该看哪些历史区块。它做的是一种更谨慎的操作,叫软几何融合(soft geometric fusion)。

这里有个很关键的设计考量。Transformer的每一层(layer)其实已经有自己的一套"该看哪里"的判断依据,这是模型训练出来的内在偏好,论文里叫模型导出的重要性(model-derived importance),具体算法是拿当前区块的平均查询向量和历史区块的平均键向量做点积再softmax。

Velox的做法是,用几何重叠分数去调整、放大这个模型自身已有的判断,而不是彻底取代它。

公式上的操作是:如果某个历史区块和当前区块几何重叠程度超过某个阈值,就给模型原本给出的重要性分数乘以一个放大系数(1加上λ倍的几何分数),重叠程度不够的保持原样,然后重新归一化。论文里用的放大系数λ等于2,意味着重叠最高的区块,重要性最多能被放大到原来的3倍。

为什么不干脆用几何重叠分数直接决定该看哪些区块,非要跟模型自己的判断掺和在一起?

因为几何信息本身是有破绽的。重建出来的深度可能有偏差,刚刚被遮挡又重新显露的区域深度估计可能是错的,薄的物体用长方体去近似也容易算出虚假的重叠。如果完全依赖几何分数做硬性筛选,一旦几何判断出错,模型就会被强行喂进错误的参考资料,而且没有任何纠错机制。

而模型自己训练出来的注意力模式,虽然不一定精确对应三维空间关系,但它至少是从海量数据里学出来的一种统计规律,往往能兜住几何判断失灵的情况。两者结合,相当于给模型加了一个有几何依据的"建议",但最终还是模型自己拍板。

这好比公司里新来了个数据分析师,拿着漂亮的报表建议老板该往哪个方向投资。但一个靠谱的老板不会完全听信报表,他会结合自己多年积累的行业经验来综合判断,报表权重高一些,但不是唯一的决定因素。如果老板完全交出决策权给报表,万一数据本身有问题,比如统计口径出错,公司就会一头栽进坑里;但如果老板完全不理会报表,那他可能又会错过报表揭示出的真实机会。两边都得兼顾,这是Velox软融合设计背后真正的权衡。

对于那些几何信息根本没覆盖到的区域,比如画面里新出现的天空、之前完全没拍到过的物体,Velox索性放弃几何干预,完全交给模型自己的判断去决定该看哪些历史。论文里管这叫覆盖度(coverage)判定,用ρ表示,达到0.9以上才算"覆盖良好"。

局部连续性的兜底:全局对齐的希尔伯特曲线

光靠几何对应还不够,视频生成还需要保证相邻画面之间的运动是连贯的,这种连贯性不完全靠长程几何关系来保证,还得靠短程的空间邻近关系。

Velox引入了一种叫全局对齐希尔伯特排序(global-aligned Gilbert order)的机制。

希尔伯特曲线:

一种空间填充曲线,能把二维或三维空间里的点排成一条连续的一维序列,排序后相邻的点在原始空间里也大概率是相邻的,这样存储和访问的时候,物理上邻近的内容在内存里也挨得近,减少跳转开销。

这个机制解决的是另一个实际问题:如果每个chunk内部单独排一次希尔伯特曲线,chunk和chunk之间的边界处就会出现"接缝",需要额外维护一张跨chunk的对照表才能知道哪些块是相邻的。Velox的做法是,构建一条贯穿所有chunk的全局希尔伯特曲线,根据chunk的奇偶和进入方向做对称翻转,让跨chunk的边界自然而然地变成普通的相邻关系,不需要单独的缝合表。

这就好比你规划一条贯穿整个城市的地铁线路,如果每个区各建各的地铁,换乘的时候就得专门设计复杂的换乘通道。但如果从一开始就统一规划整条线路,区与区之间的衔接天然就是顺畅的,不需要额外补一堆换乘枢纽。

在这套全局坐标系下,Velox会把当前区块周围26个相邻区块(类似三维空间里的26邻域)强制纳入参考范围,无论几何判断怎么说,这部分始终保留,充当运动连续性的安全网。

把所有预算摆在台面上:计算量到底降了多少

把前面讲的这些拼起来,Velox最终给每个当前区块生成一份历史区块的"访问清单",这份清单由几部分组成:上一个chunk(必保留)、几何筛选出的相关历史块(覆盖良好区域用,上限80块)或者模型自己选的累积重要性最高的块(覆盖不足区域用,上限150块)、再加上全局邻域的26个安全网区块。

关键的变化是,这份清单的长度是固定的,不会随着生成的chunk越来越多而越变越长。

论文里给出了复杂度分析:密集注意力的计算量是O(N × Mc × btok? × d),其中Mc是历史可见块数量,会随着chunk数线性增长。而Velox把这个Mc替换成了固定上限Kmax加上安全网大小,整体复杂度变成O(N × (Kmax + Δsafe) × btok? × d),不再随历史长度增长。

实测数据相当直观。在第48个chunk这个时间点,单次注意力调用延迟从34.2毫秒降到7.8毫秒,提速4.36倍;整个chunk的去噪时间从7.19秒降到2.96秒,提速2.43倍。而且这个优势是"越往后越明显"的,因为密集注意力的耗时曲线是一路向上爬的,Velox的曲线基本走平。

几何构建是和去噪并行跑的,用了一个异步流水线,在同一块H200显卡上,一个独立线程负责处理解码完成的chunk、更新深度重建、构建视锥体板表,主线程继续往下生成,两边只在真正需要用到几何信息的时候做一次同步等待。整个方案没有要求用第二块显卡,是在单卡条件下实现的加速。

质量有没有打折:WBench上的验证

速度提上去了,画质会不会掉?这是任何"省着用"的方案都绕不开的问题。

研究者在WBench导航测试集的全部158个测试案例上做了对比,这是一个专门针对交互式视频世界模型设计的多轮评测基准。结果显示,Velox在不依赖VLM打分(API-free)的平均分上,只比密集注意力低0.15分,19项指标的综合平均分反而从75.52涨到了75.60。

和另一个对照组,一个只按模型自身重要性做区块筛选、完全不引入几何信息的"模型专属稀疏路由"(Block-Sparse)方案比,Velox在API-free平均分上从73.11提到73.51,综合平均分从75.01提到75.60,空间一致性(Spatial Consistency)指标从71.8提到74.3。

这个对比很说明问题:单纯做稀疏化是有代价的,而几何信息的引入,把这部分代价又补了回来,甚至补过了头。

论文还专门验证了几何重叠分数和模型自身注意力判断到底有多大程度上"英雄所见略同"。在某一层(第14层)里,几何筛选出的区块和模型自己偏好的前50个区块重合比例达到0.73,比随机水平(0.35)高出整整0.38。这说明几何信息不是在瞎指挥,它在相当程度上验证并强化了模型本身已经发现的有效线索。

视觉上的直观证据也很有说服力。论文给出了几组长程生成的对比画面:一个卧室场景,密集注意力生成到后期,房间逐渐变成了另一个完全无关的昏暗房间;一个手办场景,红色的衣服颜色逐渐褪成了淡粉色;一片竹林小径,路面逐渐变成水坑,最后变成一片毫无特征的平面;一片沙漠,画面里慢慢渗出奇怪的暗色伪影。而Velox生成的同样场景,到了最后一帧,还能认出是同一个卧室,手办衣服颜色没有跑偏,竹林小径保持原样,沙漠纹理也没有崩坏。

这其实揭示了一个更深层的问题:长视频生成的"记忆丢失"不是突然发生的,是在每一次生成新画面的过程中一点点累积的误差,密集注意力并没有天然免疫这种漂移,它只是记性好,不代表记得准。Velox通过把注意力精准导向几何对应的历史区域,相当于不断把生成过程"拉回"到正确的参照系里,抑制了误差的累积。

几个值得追问的地方

论文自己也坦承了Velox的局限。WBench的细分指标里,Velox在透视一致性(Perspective Consistency)和主体一致性(Subject Consistency)这两项上是下降的,而空间一致性和光度一致性(Photometric Consistency)是提升的。这个此消彼长不是偶然的。

静态背景区域通常能被视锥体板很好地覆盖,几何对应关系清晰可靠。而物体、人物这类动态或语义关键的内容,往往重建不完整,或者本身就在剧烈变化,几何对应关系反而没那么靠谱。这意味着Velox目前更擅长"守住场景不崩坏",而对"守住角色不变形"的帮助相对有限,这也是论文里明确写出来,留给后续工作的一个改进方向。

另外,整套系统高度依赖于流式三维重建的质量,如果重建的深度本身漂移了,或者被遮挡区域错误地填进了过时的几何信息,软融合机制虽然设计了阈值和放大上限去控制风险,但没法完全杜绝错误几何信息带偏生成结果的可能。

Velox这个思路也不是凭空出现的。在它之前,像AnchorWeave这类工作已经尝试把持久记忆里的历史渲染结果,通过ControlNet(一种给扩散模型额外加条件控制信号的技术)这样的机制注入模型输入里,但这种做法需要改动模型结构或者重新训练。Velox选择了另一条路,完全不碰模型参数,只在推理阶段调整注意力该看哪里,这是它能直接套用在已经训练好的模型上的根本原因。

而更早一步的Context-as-Memory、VMem这些工作,提供的是帧级别的检索能力,Velox把这个颗粒度精细化到了区块级别,并且用三维几何关系替代了相对粗糙的视野重叠判断。某种程度上,Velox是把图形学里几十年积累的三维重建技术,和这两年刚兴起的视频生成技术缝合在了一起,缝合得还挺自然,模型完全不需要知道自己被"喂"了经过筛选的历史。

Q&A

Q1:Velox是什么?

A:Velox是一种训练无需改动模型参数的注意力路由方法,用于加速视频世界模型的长程生成。它通过视锥体板几何对应关系,让当前画面区块只关注历史中几何位置重叠的部分,而不是遍历全部历史,从而在不明显损失画质的前提下大幅提升生成速度。

Q2:Velox能带来多大的速度提升?

A:在第48个chunk这一时间点,Velox能把单次注意力计算延迟从约34.2毫秒降到7.8毫秒,提速4.36倍,整个chunk的去噪时间从约7.19秒降到2.96秒,提速2.43倍,且提速幅度随生成长度增加而增大。

Q3:Velox会不会让生成画质变差?

A:在WBench导航测试集158个案例上,Velox的API-free平均分只比密集注意力低0.15分,19项指标综合平均分反而从75.52提升到75.60,空间一致性和光度一致性均有提升,但在透视一致性和主体一致性上略有下降。

文章标签AI资讯

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。