你有没有想过一个问题：让AI一帧一帧生成视频，跟人类回忆往事，本质上是同一件事吗？
这个类比不是随便打的。人类记忆的核心难题是什么？是大脑存不下所有细节，只能选择性地留下重要的，忘掉不重要的。而AI视频生成面临的，正是一模一样的困境。当一个模型要生成几分钟甚至几十分钟的视频时，它不可能把之前生成的每一帧都塞进"脑子"里参考，计算资源根本不允许。于是问题来了：哪些历史信息该留？哪些该丢？丢了会怎样？
2026年9月，一群来自港科大、复旦、CMU、NVIDIA等机构的研究者们，把这个问题系统地梳理了一遍，写成了一篇长达78页的综述，标题叫《过去塑造未来》。这篇文章不是在提出一个新模型，而是在给整个领域"盘点家底"：过去几年里，大家想出了多少种让AI视频生成模型"记住东西"的办法，这些办法各自的优劣是什么，未来还有哪些坑没填上。
先说说这件事到底难在哪
要理解这篇综述的价值，得先明白"自回归视频生成"是什么。
自回归视频生成*：一种让AI按时间顺序，一步步生成视频的方式。每生成一个新的画面片段，都要参考前面已经生成或观察到的内容，就像写小说时你得记得前几章写了什么，才能让后面的情节合理。
这套逻辑最早可以追溯到VideoGPT这类把视频切成离散符号（token）再逐个预测的模型，后来演化到用扩散模型或流匹配技术生成连续画面的系统，比如最近的Causal Forcing。不管技术怎么变，核心逻辑没变：现在生成的内容，取决于过去发生了什么。
问题是，"过去"这个东西会越积越多。一部电影级别的长视频，如果要求AI把从第一帧到当前帧的所有信息都完整保留并随时调用，那计算量会爆炸式增长。所以实际系统只能开一个"窗口"，只让模型看最近的一段历史，业内管这个窗口叫**局部上下文（Local Context）**。
局部上下文：模型在生成当前画面时，实际能够直接访问的、最近一段时间的历史信息，相当于人类的"短期记忆区"。
这就好比你在看一部连续剧，但每次只能记住最近看的三集，三集之前发生的事情你全忘了。如果剧情里有个角色在第一集出现过，第五集又回来了，你会不会认不出他？这不是电视剧的问题，是"只记得最近三集"这个设定本身带来的问题。
如果AI视频生成也是这样"只记最近几帧"，会发生什么？论文里列出了一串典型症状：角色消失后再出现时变了样，画面细节逐渐漂移，场景走一圈回来发现完全变了个样，动作忽然卡顿或者重复，剧情前后矛盾，甚至是"打开的门"下一秒又自动关上了。这些问题看起来五花八门，但论文认为它们背后是同一个根源：模型缺乏有效的记忆机制。
记忆不是"存的越多越好"，而是要在恰当的时候拿出来用
这篇综述给"记忆"下了一个很精确的定义：记忆是一种持续保存的历史信息，它能够在原始证据已经离开当前可访问范围之后，依然影响后续的生成结果。
这个定义有个关键之处：它区分了"活跃上下文"和"持久记忆"。前者是那种每一步都被直接喂给模型的近期信息，后者则是经过筛选、压缩、提取或修订之后被专门保留下来的信息。判断一个东西算不算记忆，不看它用了什么技术，也不看模块叫什么名字，就看一件事：如果把它删掉或改动，后面的生成结果会不会受影响。
这个定义听起来简单，但它划清了一个界限。有些系统只是把上下文窗口开得很大，让模型能"看见"更久远的画面，这本质上还是活跃上下文的扩展，不算真正意义上的记忆系统。真正的记忆系统，得有一套完整的机制：知道该记什么、怎么存、什么时候拿出来用、要不要更新、要不要丢弃。
论文接下来从五个角度把整个领域的研究成果梳理了一遍：记忆用什么形式承载（Forms）、记忆要保留什么信息（Functions）、记忆具体怎么运作（Operations）、记忆怎么被训练出来（Learning）、以及怎么评估一个系统是否真的有记忆（Evaluation）。这五个视角合在一起，构成了这篇综述的骨架。
记忆的四种"存储介质"
第一个问题是：记忆到底该用什么东西来承载？论文把答案归纳成四大类。
视觉记忆（Visual Memory）：直接保留观察过的画面本身，比如某几帧原始图像，或者经过VAE编码后的潜在特征，只要还能追溯到具体是哪段历史画面，就算这一类。
这有点像你随身带一本相册。想找某个瞬间的时候，翻开相册直接看照片就行，细节保真度极高。但问题也很明显：相册会越来越厚，你不可能把每一秒都拍下来存着，存储成本会失控。而且如果照片本身拍虚了（也就是生成过程中产生的瑕疵），这个瑕疵也会一直留在相册里，被反复翻出来影响后面的判断。
如果不用视觉记忆而是全靠"回忆"会怎样？答案是接下来要讲的第二类。
隐式状态记忆（Implicit State Memory）：不保存具体画面，而是把历史信息压缩进模型内部的神经网络状态里，比如注意力机制中的KV缓存、循环神经网络的隐藏状态。这种记忆没有明确的语义结构，纯粹是模型"学"出来的一种抽象表示。
这就像你脑子里对一件事的"印象"，而不是具体的照片。你可能记不清朋友生日聚会上每个人穿什么衣服，但你记得"那天很开心""氛围很热闹"这种感觉。这种压缩记忆的好处是省地方，坏处是细节丢了就真丢了，没法再"翻出照片"核对。
这一类里又细分出三种典型做法。第一种是注意力缓存状态（Attention-Cache States），就是Transformer架构里保留下来的KV（键值）对，像LongLive这类工作会保留一小撮早期的"锚点"帧，再配合一个滚动更新的近期窗口，既保住长程记忆又不至于爆内存。第二种是循环与状态空间状态（Recurrent and State-Space States），比如用Mamba这类架构把历史不断压缩进一个固定大小的状态里，代表工作有VideoSSM。第三种是编码历史状态（Encoded History States），用专门的编码器把历史信息重新提炼成紧凑的记忆表示，比如TinyHistory这类工作。
第三类是显式状态记忆（Explicit State Memory），这类记忆有明确的语义或几何含义，比如角色的身份属性、空间中的相机位姿、物体的三维点云地图。它不再是黑箱式的神经网络激活值，而是像数据库字段一样有名有姓的变量。
这就好比你专门记了一本"人物关系笔记本"，上面写着"张三是主角的哥哥""李四住在城东"，这种信息是可以随时被检索、修改、验证的，不像脑海里的模糊印象那样说不清道不明。代价是，构建这套结构化系统本身就有成本，而且它没法完全覆盖那些"只可意会不可言传"的细节，比如皮肤的光泽、光线的微妙变化，这些还是得靠视觉或隐式记忆来补足。
第四类是自适应参数记忆（Adaptive Parametric Memory），这个比较特殊，它不是往"记忆库"里存东西，而是直接调整模型自身的一部分参数，让这些参数"记住"某种经验，比如通过测试时训练（Test-Time Training）技术在生成过程中动态更新一部分权重。
打个比方，这就像一个老师傅带徒弟，不是每次都翻笔记本教学，而是根据经验直接调整自己的"手感"。这种记忆方式效率很高，因为不需要额外存储空间，但风险也在这儿：调整过的参数很难撤销，如果这次"手感"调错了，可能会持续影响后面所有的判断，还容易和之前学到的东西互相干扰。
记忆到底要保住哪五类信息
光知道记忆用什么形式承载还不够，论文进一步追问：记忆具体要保留什么内容，才能真正解决前面提到的那些失败症状？答案被归纳成五个功能维度。
身份保持（Identity Preservation）解决的是"这还是不是同一个人/同一个物体"的问题。一个角色被遮挡后再出现，或者隔了很久没露面再回到画面里，模型得知道这还是原来那个角色，而不是长得像但其实是另一个人。这里有个很微妙的地方：身份保持不等于外观完全冻结。一个人的姿势、表情、光照条件都可以变，但脸部结构、独特纹理这些"定义这个人是谁"的特征得保持稳定。
论文里提到一个具体的失败模式叫"绑定错误"（Binding Error），意思是当画面里同时存在多个相似角色时，模型可能把甲的记忆错误地匹配给了乙，导致身份互换或者属性串味。这就好比你参加一场同学会，两个长得很像的双胞胎站在你面前，你一时没认清，把关于甲的私事讲给了乙听。
空间保持（Spatial Preservation）关心的是场景布局、几何结构、视角关系能不能在时间跨度和镜头运动之后依然保持一致。比如相机绕着一个房间转了一圈再转回来，之前看到的家具摆设应该还在原地，不能凭空消失或者变了形状。
这一部分特别依赖几何信息的准确对齐，论文里提到不少工作会用相机位姿（Camera Pose）、深度信息、点云地图这类明确的空间线索来支撑记忆检索，比如WorldMem用位姿和时间信息给帧打标签，VMem则用表面元素（Surfel）来索引历史视角。
动态保持（Dynamic Preservation）针对的是运动状态的连续性，比如一个人走路的步态、一辆车行驶的速度，这些不能因为暂时离开画面就"冻结"，也不能被随意重置。论文特别强调了一种叫"视野外演化"（Out-of-Sight Evolution）的情况：一个物体被挡住之后，它背后的运动过程其实还在继续，模型得能推断出它现在应该处于什么状态，而不是简单地假设它一动不动。
语义保持（Semantic Preservation）保护的是更高层次的东西，比如一个未完成的目标、一段叙事逻辑、角色之间的关系设定。就算局部画面看起来很流畅，如果整个视频前后矛盾，比如同一件事被重复交代两次，或者一个已经完成的任务又被要求重新完成，这就是语义层面出了问题。
因果保持（Causal Preservation）是这五个功能里最容易被忽视，也是交互式生成场景中最关键的一环。它要求模型记住"某个动作造成的后果"，而且这个后果得一直生效，直到有新的动作把它覆盖掉。论文举的例子很生动：一扇被打开的门，如果模型的记忆机制不够可靠，等镜头转开再转回来，这扇门可能又"自己"变回关闭状态，就好像什么都没发生过。
这五个功能之间不是互相独立的，论文特别提到它们经常"打包出现"。比如一次物体搬运动作，同时涉及这个物体的位置（空间）、归属关系（语义）、后续运动轨迹（动态），还有这次搬运这个动作本身造成的持久影响（因果），缺一不可才能保证整个场景合理。
记忆是怎么被"操作"的
知道了记忆该存什么、用什么形式存，接下来的问题是：这套系统具体是怎么运转起来的？论文提炼出五个操作环节。
写入（Writing）决定新信息该不该被记下来、记在哪里。这里有个核心的取舍：如果什么都记（穷尽式写入），存储和计算成本会爆炸；如果只挑重要的记（基于效用的选择），又可能漏掉那些"现在看起来不重要，将来突然变得关键"的信息，比如一个背景里一闪而过的物体，后来恰好成了剧情关键道具。
读取（Reading）决定当前这一步生成该调用哪部分历史记忆。最简单的策略是按时间顺序，越近的信息越优先读取，但这个策略有个明显短板：距离现在最近的画面不一定是最相关的。比如相机绕一圈回到起点时，最有用的信息其实是很久之前看到的那个场景，而不是刚刚经过的走廊。所以后来发展出了基于内容相似度、基于空间对应关系（比如相机位姿匹配）的检索方式。
更新（Updating）处理的是记忆内容该怎么随着新证据变化。这里有个平衡难题：更新太保守，记忆会跟不上世界的真实变化，比如门明明被打开了，记忆里还是"关闭"；更新太激进，又可能把还有效的旧信息一并抹掉。论文提到一种"纠正性修订"（Corrective Revision）的做法，会专门去识别哪些已存的信息可能已经过时或者出了错，主动去修正它，而不是被动地等新信息覆盖旧信息。
管理（Management）负责在有限的存储预算下，决定哪些信息能留下来、以什么精度留下来。这里有个很实际的问题：未来到底有没有用，在当下这个时间点其实是没法完全确定的。论文特别指出这是一个"前瞻性效用"难题，也就是说管理策略不能只看当下的重要性打分，还得考虑这条信息未来被重新用上的可能性。
集成（Integration）是最后一环，决定检索到的历史记忆该怎么真正影响到当前的生成过程。这一步经常被忽视，但其实很关键。论文举了个例子：就算检索系统正确地找到了相关的历史信息，如果这些信息在送入生成网络时没有被恰当地"融合"进去，比如权重太低、和当前上下文格式不兼容，那这些信息也等于白存了。
这五个环节合在一起，构成了论文所说的"记忆生命周期"。有意思的是，这套操作流程和人类记忆的运作方式有种隐约的呼应：我们不断地把新经历"写入"记忆，遇到相关场景时"检索"出对应的旧记忆，随着认知更新"修正"记忆内容，因为大脑容量有限所以只能选择性"管理"要保留哪些，最后在做决策的那一刻，把回忆起来的东西"整合"进当下的判断里。
记忆是怎么被训练出来的
有了记忆的结构和操作机制，接下来的问题是：这套系统怎么通过训练学会正确地"记忆"？
这里论文提出了一个特别值得注意的洞察，叫记忆状态分布不匹配（Memory State Distribution Mismatch）。
训练的时候，模型看到的历史往往是"标准答案"，也就是真实的、干净的视频序列。但等到实际部署使用时，模型看到的历史是它自己之前生成的画面，这些画面可能已经带着各种小瑕疵和偏差。这就好比一个学生做练习题的时候用的都是标准答案对照，考试的时候却得依赖自己前面几道题可能已经算错的结果继续往下算。如果前面某一步算错了，这个错误会一路传递下去，越滚越大。
这个问题在语言模型领域被称为"曝光偏差"（Exposure Bias），论文把这个概念延伸到了记忆状态层面。为了缓解这个问题，研究者们提出了几种训练策略。
第一种叫教师强制（Teacher Forcing），训练时始终用真实历史来指导模型，优点是训练稳定、并行效率高，缺点是模型永远没机会学会怎么应对自己犯的错误。
第二种叫历史增强（History Augmentation），会在真实历史基础上做一些扰动，比如加噪声、遮挡部分内容、模拟历史信息不完整的情况，让模型提前"见识"各种不完美的历史，增强鲁棒性。
第三种叫自我滚动（Self-Rollout），直接让模型用自己生成的内容作为历史来继续训练，这是最接近真实部署场景的方式，代表工作是Self Forcing。这种方式效果最直接，但计算成本很高，因为要一步步串行地生成，没法像教师强制那样并行处理整个序列。
除此之外，论文还提出了记忆感知学习（Memory-Aware Learning）这个概念，核心思想是：训练的时候，就该让模型直接在部署时会遇到的那套记忆约束下学习，而不是训练完之后再简单套用压缩、检索这些机制。这就好比一个运动员如果只在标准场地训练，到了真实比赛的复杂地形上就可能水土不服，所以训练场地最好尽量贴近实战条件。
怎么判断一个系统真的"有记忆"
这一部分是整篇综述里我觉得最有意思的地方，因为它戳破了一个很容易被忽视的评估陷阱。
论文提出一个核心原则：视频质量好，不等于系统有记忆。
一个模型完全可能在不依赖任何历史记忆的情况下生成一段看起来很连贯的视频，比如需要记住的对象其实一直没离开当前上下文窗口，或者用户的提示词里其实已经重复交代过关键信息了。这种情况下，视频质量再好，也证明不了记忆机制真的在起作用。
所以论文提出一个"信息缺口"（Information Gap）标准：只有当正确的输出结果，依赖于某个已经不在当前局部上下文里的历史信息时，这个评估才真正在测试记忆能力。
论文把评估协议分成好几类。第一类是实体重现（Entity Reappearance），让一个角色暂时离开画面，之后再让它回来，检验模型是不是还认得它。第二类是场景重访（Scene Revisitation），让相机离开某个区域再绕回来，检验空间结构是否被正确保留。第三类是视野外状态演化（Out-of-View State Evolution），要求模型正确推断一个隐藏过程在被遮挡期间发生了怎样的变化，而不只是简单记住画面本身。
论文还特别提醒了几个容易踩的评估误区。比如目标重现的验证必须做到两件事：这个对象确实真的离开过观察范围，以及后续的提示词或参考信息没有偷偷"剧透"要恢复的内容，否则模型可能只是照着提示词把东西画出来，而根本没有用到记忆。这种校验听起来琐碎，但恰恰是判断一个评估结果是否可信的关键。
延迟动作效应（Delayed Action Effects）这个方向被论文特别点出目前还没有很成熟的标准化协议，很多交互式基准测试只在当前轮次内评估状态变化，没有真正测试跨越较长间隔后动作后果是否依然生效。这也是论文认为未来最值得投入研究的方向之一。
论文最后总结的六大开放挑战
综述的最后部分，作者们提出了六个尚未解决的方向。
统一且可组合的记忆架构，希望不同类型的记忆（视觉、隐式、显式、参数化）能用统一的接口互相配合，而不是各自为政。
资源感知的记忆分配，希望记忆系统能像人一样，提前预判某些信息未来的价值，而不是只根据当下的重要性来决定存留。
可信的记忆更新机制，希望系统能区分"真正发生了变化"和"生成过程中的误差累积"，避免错误被当成新事实反复巩固。
自我滚动学习，希望训练过程能更好地覆盖模型部署时真实会遇到的各种记忆状态。
交互式和因果记忆，希望在人机交互场景下，一个动作造成的后果能持续有效地影响后续生成，而不是被悄悄"重置"。
可比较的记忆评估协议，希望整个领域能有一套统一、严谨的评估标准，避免不同论文用各说各话的方式来证明自己的方法"有记忆"。
写在后面
读完这篇综述，最触动我的一点是：这不是一篇讲"某个新模型多厉害"的论文，而是一次难得的系统性盘点。它把过去几年里散落在几百篇论文里的各种"让AI记住东西"的思路，重新整理成了一张地图。
有个细节我觉得特别值得单独说一说：论文反复强调"记忆容量大"不等于"记忆有效"。这句话听起来简单,但仔细想想会发现它挑战了一个很直觉的假设,我们很容易以为存的信息越多、上下文窗口越大,系统就越"聪明"。但论文用大量案例证明,如果检索不准、更新不当、集成时权重给错了,再大的记忆库也可能是摆设。这跟人类记忆的道理其实是相通的,一个博闻强记但从不整理归纳的人,和一个记忆容量有限但善于抓重点的人,在实际决策效率上可能后者反而更强。
另一个让我停下来想了很久的地方,是论文对"因果保持"这个功能维度的强调。视频生成领域过去更多关注视觉一致性,比如人脸像不像、场景连不连贯,但这篇综述专门把"一个动作造成的后果能不能持续生效"单独拎出来当作一个独立的评估维度,这背后其实是在暗示,未来的AI视频生成系统,可能不只是"渲染引擎",而是要逐渐承担起"世界模拟器"的角色。渲染引擎只需要画面好看,世界模拟器却得对因果逻辑负责。这两者的要求完全不在一个量级上。
这篇综述没有给出终极答案,它更像是在说:我们现在知道问题有多复杂了,接下来该往哪儿走,还得靠一篇一篇论文慢慢趟出来。
Q&A
Q1：自回归视频生成中的"记忆"具体指什么？
A：记忆指的是一种在模型生成过程中持续保存的历史信息，即便原始证据已经离开当前可直接访问的范围，它依然能够影响后续的生成结果。判断标准是删除或修改这段信息后，后续输出是否会受到影响。
Q2：视觉记忆、隐式记忆、显式记忆和参数记忆有什么区别？
A：视觉记忆直接保存画面或其编码，细节保真但存储成本高；隐式记忆把历史压缩进神经网络内部状态，省空间但细节难追溯；显式记忆用结构化变量记录身份、位置等信息，可检索可修改；参数记忆通过调整模型自身权重来保留经验，效率高但难撤销。
Q3：为什么视频质量好不能证明AI视频生成模型真的有记忆？
A：因为模型完全可能在不依赖任何历史记忆的情况下生成连贯视频，比如需要记住的对象其实一直没离开当前上下文窗口，或提示词里已重复交代过关键信息。真正的记忆评估必须制造一个信息缺口，确保正确输出依赖已离开局部上下文的历史信息。
