Token导航 LogoToken导航

AI 资讯 · 科技行者

PPMem用平面记忆解决视频世界模型失忆问题

更新 2026-11-21科技行者正文 7766字阅读约 25分钟

你有没有想过,一个能无限生成视频、让你一直往前走的AI世界,到底靠什么记住自己刚才生成了什么?

这不是一个无聊的问题。想象你在玩一个由AI实时生成画面的游戏,你往前走了三百步,然后猛地回头。如果这个AI没有真正的“记忆”,它很可能把刚才身后那扇门的位置、墙的颜色、桌子的角度全都忘了,重新给你生成一套完全不一样的场景。这就是所谓的“世界模型”目前面临的核心难题:生成的内容越长,越容易“失忆”和“跑偏”。

2025年前后,这个问题吸引了不少团队去解决,但大家给出的答案五花八门。有的方案干脆放弃记忆,靠模型自身的注意力机制硬扛,比如Genie 3和LingBot-world这类“纯视频”世界模型,它们生成画面确实惊艳,但你问它刚才那堵墙离你多远,它答不出来,因为它压根没存这个信息。另一类方案,像Gen3C、VMem、SPMem,开始给AI配备某种“3D记忆”,

世界模型*:一种能够生成、模拟并让用户在其中探索的AI系统,核心能力是根据输入(比如一张图片加一个移动轨迹)持续生成连贯的视频画面。

但这些记忆方案都有各自的硬伤。本文要讲的PPMem,就是冲着解决这些硬伤而来的,它选择了一个听起来有点“复古”的工具:平面。

记忆这件事,到底难在哪

先说说现有方案都卡在哪儿。

Gen3C的做法是维护一个只存两帧的点云缓冲区,

点云*:由大量三维空间中的点组成的数据结构,每个点记录了位置坐标,常用来表示物体或场景的表面形状。

就是说它只记得“种子帧”和“最近一个分块边界帧”的几何信息,中间所有的几何细节全部被覆盖掉、扔了。这就好比你每次只记得起点和刚过去的一瞬间,中间走过的所有细节全部清空,等你想回头确认点什么的时候,什么都找不到。

VMem稍微好一点,它用CUT3R重建出“定向面元”,

面元*:一种带有方向信息的小块表面单元,常用于表示物体表面的局部几何特征,类似给每个点加上一个“朝向”。

来索引过去的视角,但问题是面元数量会随着生成帧数线性增长,生成得越久,这堆面元就越臃肿。SPMem换了个思路,用TSDF体积,

TSDF*:一种基于体素网格的三维重建表示方法,记录空间中每个小格子到最近表面的距离,常用于融合多视角深度信息来重建完整几何。

配合关键帧池来存储空间记忆,但扩展到长序列时,每一步都要重新估计深度、把所有累积帧重新融合进体积里,计算成本随序列长度线性增长,越往后跑越慢。Context as Memory和WorldMem则干脆放弃显式3D几何,靠检索过去的原始帧来撑场面,但这意味着它们对“空间结构”这件事其实是模糊的。

这些方案有一个共同的毛病:要么存储量爆炸式增长,要么几何不够准确,要么压根没有真正意义上的3D结构。研究团队把这归纳成四个标准:记忆要紧凑、要几何上明确可用、要跨视角一致、还要能随着生成过程自我优化。放眼现有方案,没有一个能同时满足这四条。

这时候问题就变成了:有没有一种表示方法,天生就紧凑、天生就带有明确的几何含义,而且能被生成模型本身直接产出,而不是靠外部工具事后拼凑?

PPMem的答案是:平面。

为什么是平面,不是点云

你去看任何一个人造空间,无论是客厅、办公室还是街道,墙是平的,地面是平的,桌面是平的,建筑外立面是平的。人类生活的环境,本质上是由大量平面拼接而成的。这不是什么新发现,建筑学里早就有“曼哈顿世界假设”,

曼哈顿世界假设*:一种关于场景结构的假设,认为大多数人造环境中的表面主要沿着三个互相垂直的方向排列(比如水平的地面和垂直的墙面),这个假设被广泛用于室内场景的三维重建。

这类理论支撑这一点。既然如此,为什么不用平面本身去描述一个场景的几何,而非要用密密麻麻的像素点去堆砌?

PPMem里的每一个平面只需要7个数字就能完全描述:一个沿相机视线方向的深度值,两个矩形的边长(相当于这块平面有多大),再加上一个四元数来表示旋转方向(这块平面朝向哪儿)。相比之下,一帧576×1024分辨率的画面有近60万个像素,如果每个像素都存一个三维点,几百帧视频下来,理论上能攒出两亿多个点。而PPMem最终攒出来的平面池,

平面池*:PPMem中用来持续累积所有已生成区域几何信息的全局集合,每生成一段新内容就往里面补充、修正一批平面。

大概只有10万个平面左右,占用空间约5MB。这差了三个数量级,相当于把一本厚厚的百科全书压缩成了一张卡片,而卡片上记的信息还基本够用。

这里就要提一下反事实的问题:如果不用平面,继续用点云会怎样?论文里给出了对照组数据,在大约400帧、576×1024分辨率的设定下,理论上累积的点云点数能达到约2.1亿个,而PPMem的平面数量稳定在约10万个,是前者的两千分之一。这不是优化了一点点,这是representation层面的降维。

这里有个生活化的类比值得细说。想象你要给朋友描述你家客厅长什么样,你有两种方式。第一种,你拍一张高清照片,发给他每一个像素的颜色值,这信息量巨大,但其实绝大部分像素都是在重复表达“这里是白墙”“这里还是白墙”。第二种,你直接说“一面8米长3米高的白墙,一个2米见方的木地板”,一句话,几个数字,信息密度直接拉满。如果你选择第一种方式去记忆整个客厅,那每次有人问起客厅细节,你都得翻出整张照片重新辨认;如果选择第二种,你随口就能回答。平面primitive的设计,本质上就是选择了第二种描述方式,而且是让AI自己学会用这种方式去描述它刚刚生成的世界。

但光紧凑还不够。PPMem的平面还有一个关键特性:它是由生成模型自己内部产出的,不需要外部深度估计器介入。这跟Gen3C依赖MoGe-2外部模型、VMem依赖CUT3R外部模型、SPMem依赖Depth Anything 3外部模型完全不同。内部产出意味着什么?意味着这些平面天然具备跨视角一致性,因为它们是同一个共享的生成骨干网络在同一次前向传播里产出的,不是攒了一堆各自为战的局部观测再硬凑在一起。

PPMem长什么样

PPMem的底子是Wan 2.2这个5B参数规模的视频扩散Transformer模型,

扩散Transformer(DiT)*:一种结合了扩散模型(通过逐步去噪生成内容)和Transformer架构(擅长处理序列和长距离依赖)的生成模型,近年成为视频和图像生成的主流架构。

研究团队往这个底子上加了两个关键模块。

第一个是平面预测头,改造自Plana3R这个零样本平面重建模型,它负责从DiT的特征里直接回归出7个平面参数。因为DiT处理的是经过粗粒度分块压缩的隐空间网格,所以研究团队先用一个特征解码器把分辨率放大两倍,而且这个解码器不是随便初始化的,它直接继承了Wan 2.2视频VAE解码器的上采样模块权重,

VAE(变分自编码器)*:一种生成模型,常被用作图像或视频的压缩编码器,把高维像素数据压缩成低维隐空间表示,再从隐空间恢复出原始内容。

这步操作带来的实际提升是什么?实验数据给出了答案:换成这个VAE初始化的解码器后,深度准确率指标δ<1.25从59.2%提升到70.3%,提升了11.1个百分点,相对误差也从0.256降到0.210。这说明视频生成模型本身学到的空间先验知识,拿来做几何预测居然也很好用,这是一种意外的“知识迁移”。

第二个模块叫深度令牌融合(DTF),

深度令牌融合(Depth Token Fusion, DTF)*:PPMem中用来把平面池渲染出的深度图重新注入生成过程的模块,先把深度图切成小块编码成特征令牌,再和视频生成模型内部的特征令牌拼在一起处理。

这个模块的存在是为了解决一个很实际的问题:平面池渲染出来的深度图是有破洞的,因为场景里总有些区域之前没被观测到,渲染出来自然就是空的。DTF用一个小型ViT编码器,

ViT(Vision Transformer)*:一种把图像切成小块、当作序列来处理的Transformer模型架构,常用于图像特征提取。

来处理这些带孔洞的深度图,并且设计了一套三层掩码策略:完全没有覆盖的区域直接丢弃,部分覆盖的区域以75%的概率随机丢弃,完全覆盖的区域也要随机丢弃一部分,让总体掩码比例落在60%到90%之间。这个设计听起来有点“故意找茬”,为什么要主动丢掉一部分明明可用的信息?

答案藏在一个对比实验里。研究团队做了个“尺度忠实度”测试:故意把输入的深度信息按已知倍数放大或缩小,然后看模型预测出来的深度是否按同样比例变化。结果显示,用DTF融合方案时,预测/真实深度比值在输入缩放1倍时精确维持在1.00±0.01;而只用简单的通道拼接方案时,在极端缩放情况下会出现压缩失真,也就是说VAE的信息瓶颈会把精细的尺度信息给“磨平”了。DTF之所以要故意制造训练时的信息稀疏情况,就是为了让模型习惯推理阶段必然出现的那种不完美信号,这样它才不会在真实场景里见到带孔的深度图就懵掉。

这里也可以用一个类比来理解:如果你从小到大做数学题,每次都用的是印刷得整整齐齐、从不缺页的教材,那等你真正走进考场,拿到一张字迹模糊、还缺了几行的试卷,大概率会手忙脚乱。DTF的训练策略,相当于故意在平时练习的时候就塞给模型一些“缺页”“模糊”的练习卷,这样它上考场(也就是推理阶段)遇到真实的不完美深度图时,才不会直接崩溃。如果不这样做,会怎样?实验已经告诉我们了:通道拼接方案在尺度剧烈变化时会严重失真,这意味着模型会把场景的真实尺度判断错,生成的画面可能看起来对,但几何上是扭曲的。

平面池怎么“活”起来:持续合并机制

光有平面还不够,核心难题在于:这些平面怎么持续更新、修正、去重,而不是越攒越乱?

PPMem设计了一套平面池维护机制,每生成一个新的视频分块后,就把新预测的平面合并进全局池子里,这个合并过程遵循三个原则。

第一是“纠正过去”的遮挡删除机制:如果新观测到的表面证明之前池子里某些平面其实是悬浮在半空中的(也就是被更新的几何“穿透”了),那就通过多相机投票的方式把这些错误平面删掉。

第二是“优化当下”的双向质量去重:每个平面都带着一个观测质量分数,这个分数由相机到平面的距离和观测角度共同决定,距离越近、角度越垂直于表面,分数越好。在同一个分块内部,相邻很近的平面只保留质量分数更好的那个,这一步能把单个分块内的平面数量砍掉大约80%。跨分块时也执行同样的逻辑。

第三是“预判未来”的前瞻式修剪:如果某个平面在下一个分块里会被从更近的距离重新观测到,那就提前把它从池子里删掉,因为接下来肯定会生成质量更高的替代品。

这三条机制叠加起来的效果,在论文的消融实验里有清楚的数字支撑。研究团队在16个DL3DV场景(8个室外加8个室内)上逐步叠加这些合并策略:仅去重策略就把每个分块的平面数量从51.8万压缩到11.6万,压缩了约4.5倍,同时室内外场景的深度准确率δ<1.25都有提升;加入跨分块替换和前瞻修剪后,室外场景的准确率从44.7%一路涨到49.6%,室内场景从51.8%涨到56.5%,最终平面总数稳定在9.7万个。

这个过程像什么?像是整理一间堆满旧照片的储藏室。你搬进一张新照片时,先看看有没有哪张老照片拍的角度特别糟糕、信息已经被新照片完全覆盖了,直接扔掉;再看看手里一堆新照片里有没有角度重复的,只留拍得最清楚的那张;最后再想一想,接下来几天你会不会去更好的角度重新拍一张某个地方,如果会,那现在这张差强人意的先撤了,省得占地方。整个过程不需要大动干戈地重新计算整间屋子的布局,局部调整就够了,这也是为什么论文强调这个合并过程“不需要基于梯度的优化”,它是一套纯几何规则驱动的轻量级流程。

效果到底怎么样

PPMem在DL3DV和RealEstate10K两个数据集上和四个对手打了一场硬仗:Gen3C、Voyager、VMem、SPMem。

| 数据集 | 方法 | N=49 PSNR↑ | N=49 LPIPS↓ | N=121 PSNR↑ | N=121 LPIPS↓ |

|---|---|---|---|---|---|

| DL3DV | Gen3C | 15.74 | 0.474 | 13.59 | 0.565 |

| DL3DV | Voyager | 12.84 | 0.568 | 11.35 | 0.649 |

| DL3DV | VMem | 11.88 | 0.636 | 10.87 | 0.722 |

| DL3DV | SPMem | 14.70 | 0.492 | 13.03 | 0.607 |

| DL3DV | PPMem | **16.99** | **0.335** | **13.98** | **0.464** |

| RE10K | Gen3C | 21.93 | 0.238 | 19.22 | 0.303 |

| RE10K | Voyager | 17.43 | 0.315 | 15.88 | 0.389 |

| RE10K | VMem | 11.69 | 0.626 | 11.07 | 0.678 |

| RE10K | SPMem | 18.42 | 0.279 | 16.43 | 0.375 |

| RE10K | PPMem | **22.46** | **0.168** | **19.34** | **0.254** |

这个结果有意思的地方在于,PPMem用的是5B参数的模型,而Gen3C用的是7B参数的Cosmos模型,Voyager用的是约13B参数的HunyuanVideo模型。模型规模小了至少一半,效果却更好,这说明胜负的关键不在于模型大小,而在于记忆机制设计的好坏。

更能体现差距的是长序列测试。研究团队用了DL3DV里完整的测试序列,每个长达300到400帧,相机运动幅度很大,专门用来考验记忆机制能不能撑住。结果显示,在第300帧左右,PPMem在DINOv2相似度指标上领先第二名约0.27个百分点,这个差距随着帧数增加越拉越大。VMem在序列早期就直接崩了,Gen3C和SPMem则是稳步退化。

从直观的画面效果看,PPMem能在接近300帧的大幅度视角转换后,依然保持场景结构和色彩的一致性,而其他基线方法到了后期画面已经明显走样、模糊甚至出现结构性错乱。

有一个消融实验特别说明问题:研究团队做了个对照,把PPMem的联合平面预测方案换成三种替代方案,一是干脆不用持久记忆、靠模型自身预测的深度做单次生成;二是模仿Gen3C的做法,用MoGe-2外部模型逐帧估计深度再做点云拼接;三是用预训练的Plana3R模型事后对每一帧做平面重建再拼接。结果是,PPMem的联合平面池方案在深度准确率δ<1.25上达到70.3%,而三个替代方案分别只有64.0%、55.0%、57.0%。这组数字背后的意思是,记忆机制带来的提升主要体现在几何一致性和长时间稳定性上,这恰好对应了PPMem最初想解决的那个核心问题。

还有一个让人意外的发现:去掉法向量损失后,深度预测会直接坍塌成全零输出。这说明深度和法向量这两个几何量在PPMem的训练里是耦合在一起的,少了一个,另一个的学习信号就会彻底垮掉,这提示我们几何表示的各个分量之间,有时候存在着比直觉想象中更脆弱的相互依赖关系。

论文也坦诚地指出了局限性。PPMem更适合结构化场景,比如室内房间、城市街道这类平面主导的环境。附录里有个按场景“平面覆盖率”分组的实验,把100个DL3DV场景按平面覆盖率从低到高分成三组,平面覆盖率低的那组PSNR只有12.98,平面覆盖率高的那组PSNR达到15.27,这中间差了2.3个点,说明密集植物、水面这类非平面主导的有机环境,确实会让PPMem的优势打折扣。另外还有个有意思的失败案例:当镜头慢慢靠近一块文字招牌时,起初模糊难以辨认的小字,到了近景反而会生成得乱七八糟,这暴露了视频扩散模型在低分辨率观测基础上“无中生有”细节文字的固有短板。

延伸线索:从哪里来,往哪里去

PPMem不是凌空出世的。它站在了平面重建这一整条技术脉络的肩膀上。往前追溯,PlaneNet、PlaneRCNN这些早期工作做的是单视角的平面分割,后来AlphaTablets把这个思路扩展到了从单目视频里优化出alpha混合的平面原语,再后来PlanarSplatting把平面约束引入了3D高斯溅射这个新兴渲染技术里。真正给PPMem提供直接技术基础的是Plana3R,它第一次实现了无需逐场景优化、直接从一对未标定图像前馈预测出度量尺度平面的能力。

但PPMem和这一整条脉络有个本质区别:之前所有这些方法都是“重建向”的,它们只能从已经拍好的图像里抽取几何信息。PPMem把平面预测塞进了生成模型内部,变成了一个“生成向”的闭环:生成画面,顺带预测平面,平面汇入记忆池,记忆池再反过来指导下一步生成。这个双向循环,论文里特别强调是之前任何平面重建工作都没有做过的。

往后看,这类“让生成模型自带几何记忆”的思路显然还有继续生长的空间。论文自己提到,接下来值得探索的方向包括把静态的平面原语扩展到能处理动态物体的版本,以及把整个系统推向真正开放世界的场景规模,目前的实验还是在相对受控的室内外场景数据集上完成的,真正嘈杂、物体混杂的开放场景会不会让平面假设站不住脚,这是个悬而未决的问题。

写在后面

读完这篇论文,让我印象最深的其实不是性能数字,而是那个“三个数量级”的压缩比。10万个平面对两亿个点,这个差距大到让人重新思考一个问题:我们是不是经常默认“信息越多越好”,却忘了问一句,这些信息里到底有多少是在重复表达同一件事?

另一个让我觉得有意思的细节是法向量损失那个“全零坍塌”的现象。深度和法向量看起来是两个独立的几何量,一个说“多远”,一个说“朝哪”,但实验显示少了法向量的监督信号,深度预测直接失效。这提示了一个更普遍的现象:在很多联合学习的任务里,不同输出头之间可能存在隐性的梯度依赖,表面上看是并行输出,底层却互相牵制。这种脆弱性在设计多任务模型时,恐怕值得更仔细地排查。

还有那个“故意制造训练时的信息稀疏”的DTF设计,这个思路其实在很多领域都适用。你见过的世界越完美,遇到真实世界的瑕疵时就越脆弱。这跟教育里常提的“脱离舒适区训练”有点像,只是这次主角是一个深度学习模型。

那块始终没解决的招牌文字问题,近看就变得面目全非,倒是让我想起另一个问题:当生成模型要“猜”出一个它从未真正看清楚过的细节时,它凭什么猜,猜错了又该怎么被纠正?这个问题恐怕比平面记忆本身,还要更难回答一些。

Q&A

Q1:PPMem是什么?

A:PPMem是一种视频世界模型,它用7个参数描述的平面原语作为持久3D记忆,让AI在自回归生成视频的过程中,能持续积累并修正一个紧凑的场景几何记忆池,从而在数百帧的大幅度视角变化后依然保持画面结构和色彩一致。

Q2:PPMem相比Gen3C、VMem这些方法有什么优势?

A:PPMem的平面记忆由生成模型内部直接产出,不依赖外部深度估计器,天然具备跨视角一致性,而且全场景只需约10万个平面原语(约5MB),比点云方案的理论存储量少三个数量级,在视频质量和深度准确率上均优于Gen3C、Voyager、VMem、SPMem等基线方法。

Q3:PPMem有什么局限性?

A:PPMem更适合墙面、地板等平面结构主导的场景,对密集植物、水面等有机环境的表现会打折扣;此外在相机大幅拉近小字招牌等细节时,生成的文字容易变得模糊混乱,这是视频扩散模型本身的固有短板。

文章标签AI资讯

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。