Token导航 LogoToken导航

AI 资讯 · 科技行者

MaLoW让流式视频AI记住几十分钟前的内容

更新 2026-11-19科技行者正文 5803字阅读约 19分钟

你有没有试过一边看直播一边回忆十分钟前主播说过的某句话?大脑不会把那十分钟的画面全部倒带重播,而是留下一个模糊但够用的印象,等你需要的时候,它自己会冒出来。

现在想象让一个AI做同样的事情。它要一边盯着摄像头传来的实时画面回答你的问题,一边记得半小时前发生过什么。这听起来似乎不难,但工程上藏着一个让所有做流式视频理解的研究者都头疼的矛盾。

**流式视频AI面临的核心难题,是记忆和当下观察在抢同一块地盘**

目前主流的做法是把历史画面压缩成文字摘要、关键帧,或者干脆原封不动地堆进模型的输入窗口里,和当前画面、用户问题挤在一起。

这里要解释一个概念。

视觉语言模型(VLM):一种既能看懂图片视频又能用自然语言交流的AI模型,比如你熟悉的各种能看图说话的AI助手,背后大多是这类模型。

问题在于,这些模型处理信息靠的是一种叫"注意力"的机制,简单说就是模型在有限的篇幅里分配关注度。历史信息塞得越多,当下画面能分到的关注度就越少。这就好比你让一个学生同时背诵课文和观察眼前的实验现象,背的内容越长,他盯着实验的注意力就被切得越碎。实验数据也印证了这一点:论文里提到,把完整历史都塞进上下文的模型,在需要实时反应的任务上得分明显低于只看最近几秒画面的模型。

于是,来自威斯康星大学麦迪逊分校和北京大学的研究团队提出了一个很不一样的思路,论文名字叫MaLoW,全称是"Memory as LoRA Weights",把记忆变成权重。

他们的想法是,既然记忆和当下观察在输入窗口里打架,那干脆别让记忆进输入窗口了,把它变成模型参数的一部分。

**把历史变成参数更新,而不是文字或图片**

这里要先理解一个工具。

LoRA(低秩适配,全称Low-Rank Adaptation):一种给大模型做轻量化微调的技术,它不去动模型本身庞大的参数,而是额外加一小块可训练的"补丁"参数,用很小的代价改变模型的行为。

MaLoW的核心操作是,让一个叫做HyperNetwork的小网络,根据已经看过的视频历史,持续生成一套不断更新的LoRA权重,这套权重会被安装到底层的视频语言模型上。模型本身的参数始终冻结不动,只有这层薄薄的LoRA补丁随着时间推移不断演化。

这里需要再解释一下。

HyperNetwork(超网络):一种专门用来生成另一个网络参数的网络,它不直接完成任务,而是学会"给任务网络配出合适的参数"。

换句话说,当你问模型"十分钟前发生了什么",模型不是去翻一遍之前的视频帧,而是直接用这套已经吸收了历史信息的参数来回答,就像一个人不需要把过去十分钟的监控录像倒放一遍,而是凭借已经内化的印象直接给出答案。当前画面依然作为普通输入送进模型,但历史不再占用输入窗口的任何篇幅。

如果不这样做会怎样?

论文给出的latency测试很说明问题:把完整视频历史塞进上下文的方案,处理一次查询要花7.4秒;而MaLoW把历史内化进权重之后,同样的任务只要153毫秒,速度差了接近50倍,因为它根本不需要重新读一遍几十分钟的视频。

这个设计听起来有点反直觉,参数更新不是应该在训练时一次性确定下来的吗?怎么能一边推理一边改?但这恰恰是MaLoW最关键的创新,它把LoRA从"离线微调工具"变成了"在线记忆载体"。

**递归更新背后的两条腿走路**

要让记忆持续演化,MaLoW内部设计了一个颇为精巧的双轨结构。

具体来说,每来一段新的视频片段,系统先把画面和对应的时间戳压缩成一个紧凑的向量表示,这一步用的是几层自注意力网络,相当于把大段信息榨出精华。接着,这个精华表示会同时进入两条处理路径。

第一条路径是一个叫DeltaNet的状态空间模型(SSM),专门负责捕捉短期的时序依赖关系,也就是"刚刚发生的事情之间是怎么连起来的"。

这里要补充一个名词。

状态空间模型(SSM):一类擅长处理序列数据的神经网络结构,它像一个不断滚动更新的记事本,每看到新信息就调整一下内部状态,适合建模前后相连的时间序列。

第二条路径是一个门控求和机制,专门负责保留长期的全局语义,判断"这段画面和上一段比起来变化大不大",如果画面变化很小(用余弦相似度衡量,低于某个阈值),就认为是冗余信息,不往记忆里累加;如果变化明显,就把这段信息累加进长期记忆。

这个双轨设计其实很像人类记忆的运作方式。你回忆一场篮球比赛,既能记得"刚才那一波是谁抢断的"这种短时连贯的动作细节,也能记得"上半场结束时广东队领先四分"这种被反复确认、长期沉淀下来的关键信息。如果只有短期记忆这一条腿,模型会对几分钟前的事情印象模糊,消融实验显示,去掉全局语义累加这一支,模型在需要追溯历史的EPM任务上的分数明显下降。反过来如果只有长期累加,模型又会对眼前正在发生的事情反应迟钝,实时感知分数会掉。两条腿一起走,才能既顾眼前又顾过去。

最后,这两路信息经过归一化处理后,通过一个线性映射层,被转换成实际要安装到模型里的LoRA权重,这样一轮完整的记忆更新就完成了。

**训练时怎么教会模型"该记什么该忘什么"**

一个很自然的问题是,模型怎么知道哪些历史信息值得记住,哪些该扔掉?

MaLoW的做法是,训练过程中完全冻结底层视频语言模型的参数,历史视频内容不会直接喂给模型,模型只能通过HyperNetwork生成的LoRA权重间接感知历史。这样一来,预测答案时产生的误差会反向传播,一路传到HyperNetwork身上,迫使它学会只保留那些对回答未来问题真正有用的信息,把冗余的部分过滤掉。

这套训练逻辑还搭配了一个正则化项,专门限制生成的LoRA权重的数值大小,防止记忆的更新幅度过大,把模型原本的能力给冲垮。

这种设计思路有点像教一个实习生写会议纪要。你不会要求他把会议录音一字不漏地转写下来,而是告诉他,根据纪要能不能回答后续同事的提问来打分。写得啰嗦记不住重点要扣分,漏记关键决定也要扣分,这种"按结果倒逼总结能力"的训练方式,比直接告诉他"这句话重要那句话不重要"要有效得多,因为真正重要的信息往往要等到后续提问时才知道是不是重要。

**为了训练这套系统,团队专门造了一个数据集**

光有模型架构还不够,训练这样一个系统需要大量"过去发生了什么、现在该怎么答"的样本,而市面上现成的数据集大多是为离线视频理解设计的,没有专门针对流式场景的问答标注。

于是团队构建了MaLoW-Instruct,一个包含38.1万条问答对、覆盖5.6万段视频的数据集。整套数据生产流水线由三个角色组成:问题生成器负责根据视频片段和事件描述出题,答案生成器只看到问题时间点之前的视频内容作答(确保不会偷看未来信息),验证器则负责检查问题是否合理、答案是否站得住脚,把质量不过关的样本筛掉。

数据集里有意思的一点是,大约36%的问题时间戳设定在相关事件已经结束之后,专门用来训练模型回溯历史的能力;问题类型涵盖开放式、多选、是非题等多种形式,分布相对均衡。这种刻意设计的"滞后提问"机制,就像老师出考试题时专门设置几道"上周讲过的内容",逼着学生不能只背今天的笔记,必须真正吸收消化过去学过的东西。

**实测效果:在记忆类任务上碾压同类方法**

说了这么多设计思路,实际效果到底怎么样?

论文在三个权威的流式视频理解基准上做了测试,分别是OVO-Bench、StreamingBench和StreamArena。这里简单说明一下。

OVO-Bench:一个专门评估视频语言模型能否胜任真实在线视频理解场景的基准测试,其中的Backward(回溯)子集专门考察模型回忆过去事件的能力,包含情节记忆、动作序列识别、幻觉检测三类任务。

在OVO-Bench的回溯任务上,基于Qwen3.5-9B搭建的MaLoW相比此前最好的记忆方法提升了3.9%到11.8%,具体来看,MaLoW拿到的情节记忆(EPM)分数是63.6分,是所有对比方法里最高的。基于MOSS-VL-Realtime-11B的版本则在整个OVO-Bench上拿到74.5分的最高总成绩,基于Qwen3-VL-4B的版本在StreamingBench上拿到84.8分的最高成绩。

更值得关注的是推理速度的代价。MaLoW引入的额外延迟只有大约23毫秒,占整体推理时间不到15%,而且生成LoRA权重的计算可以和模型本身的推理过程并行进行,实际体感延迟会更低。

研究团队还专门设计了一个长时记忆压力测试,用StreamArena的Historical Retrospection子集,这个子集里问题和相关画面之间的时间间隔中位数达到12.1分钟。MaLoW在这个极端场景下平均得分22.8,超过同样做记忆压缩的VST方法2.2个百分点,超过保留完整上下文的MOSS-VL-Realtime方法4.5个百分点。这说明把历史压进权重这件事,不是只在短视频里管用的小把戏,在真正考验长时记忆的场景下依然站得住。

**这套方法甚至能用到机器人身上**

一个让人意外的延伸实验是,研究团队把MaLoW用在了视觉语言动作模型(VLA)上,也就是控制机器人完成具体操作任务的AI系统。

他们在Qwen3.5-2B基础上搭建了一个简单的机械臂控制模型,只看当前画面来预测下一步动作。加上MaLoW之后,模型开始能够内化历史观察和过去执行过的动作轨迹,不需要显式地把这些历史信息喂给底层模型。

在仿真环境SimplerEnv的WidowX机械臂测试中,平均任务成功率从59.4%提升到68.8%,提升了9.4个百分点。其中"堆叠绿色方块"这个精细操作任务的成功率从20.8%几乎翻了一倍半,提高到29.2%。这说明记忆内化这个思路不只对"看视频答题"这种任务有效,对需要精确连续动作的机器人控制同样有用,因为机械臂操作本质上也需要记住"我之前抓了哪些东西、放在了什么位置"。

**论文还给出了一套数学论证,证明这件事理论上是成立的**

你可能会好奇,把历史压进几个LoRA权重矩阵里,信息损失会不会太大?论文的附录专门用数学推导证明了这件事的可行性。

核心思路是这样的。如果把历史观察看作一堆存储起来的键值对,那么模型查询历史的操作可以等价地写成一个矩阵乘法。而这个历史矩阵,经过一系列代数变换,可以被证明能够等价地表达为对模型内部MLP层权重的一次低秩修改。

这里稍微展开一下这个概念。

低秩修改:指用两个较小的矩阵相乘来近似一个更大、更复杂的变化,这正是LoRA技术的数学基础,因为很多实际发生的变化本质上并没有那么"复杂",可以用更少的参数去描述。

论文还给出了误差上界的推导,说明当用来近似历史信息的秩足够高时,这种低秩表示造成的误差可以无限趋近于零。这部分理论分析没有声称MaLoW真的精确复现了那个理论上的历史矩阵,它更像是提供了一个数学上的"可行性背书",说明这条路理论上走得通,而实际效果如何,最终还是靠前面那些实验数据说话。

**三年前已经有人开始往这个方向摸索**

把长期记忆挪到模型参数而不是输入窗口里,并不是MaLoW第一个提出的想法。论文里提到了一个叫δ-mem的工作,尝试用LoRA更新动态表达文本信息,但它依然需要在推理时访问完整的历史上下文,没有真正摆脱"记忆要占输入篇幅"这个限制。

另一个更接近的同期工作是StreamTTT,它把历史信息存进一个在线更新的测试时训练(TTT)分支里。和MaLoW的区别在于,StreamTTT额外引入了一个独立的记忆分支,而MaLoW选择直接通过动态生成的低秩参数调整把历史融入模型本身,不额外搭一套记忆系统。论文里的对比数据显示,在4B参数规模下,MaLoW基于Qwen3-VL-4B的版本在OVO-Bench回溯任务和StreamingBench上分别比StreamTTT-4B高出3.9%和3.5%。

从更早的脉络看,这整条研究路线其实源于LoRA本身的发明。2022年Hu等人提出LoRA技术,最初是为了用很小的代价给大语言模型做领域微调,没人想到这套"轻量补丁"的思路后来会被用来承载动态变化的记忆。这种"把一个工具从原本的用途里解放出来,用到完全不同的场景"的跳跃,在深度学习的发展史上其实并不罕见。

写在后面

读完这篇论文,最让我意外的一点其实是那张延迟对比图。130毫秒和7.4秒的差距,不是靠更强的硬件堆出来的,而是靠一个架构层面的选择,不把历史塞进注意力窗口。这提醒我一件事,很多时候性能瓶颈不是算力不够,而是信息被放在了错误的地方。

另一个让我反复琢磨的细节是那个t-SNE可视化实验。研究者用V-JEPA-2模型计算了一个"惊讶度分数",衡量视频画面变化的剧烈程度,然后把它和MaLoW内部LoRA隐藏状态的演化轨迹摆在一起看。结果发现,画面变化剧烈的时候,LoRA状态在向量空间里跳动得也更剧烈;画面平稳的时候,状态演化也跟着平滑下来。这说明这套记忆机制不是在死记硬背每一帧画面,而是真的学会了跟着事件的节奏去调整自己记住的东西,这种"自适应的遗忘和强化",和人类记忆的运作方式意外地相似。

论文里也坦诚地给出了几个失败案例,其中一个是模型需要先想起某个画面出现在视频的哪个时间点,再回去定位画面角落里一个显示的时钟,这种需要"主动翻找"的任务,MaLoW没能做好,因为它压根没在训练数据里见过这种带工具调用性质的操作。这倒是给后续研究留了一个挺明确的方向,记忆内化解决了"记得住"的问题,但"知道该去哪里查"这种更接近智能体的能力,还是另一回事。

Q&A

Q1:MaLoW是什么?

A:MaLoW是威斯康星大学麦迪逊分校等机构提出的流式视频记忆框架,它把历史视频信息转化为动态更新的LoRA权重参数,而不是塞进模型输入窗口,从而让AI既能记住几十分钟前的内容,又不影响对当前画面的实时反应。

Q2:MaLoW和把历史视频直接塞给AI相比有什么优势?

A:主要优势是速度和效果兼顾。实验显示处理一次查询,传统的全上下文方案要7.4秒,MaLoW只要153毫秒,同时在OVO-Bench回溯任务上的表现还比多种现有记忆方法高出3.9%到11.8%。

Q3:MaLoW只能用在视频问答上吗?

A:不是。论文还把它用在了控制机械臂的视觉语言动作模型上,加入MaLoW后机械臂在仿真环境里的平均任务成功率从59.4%提升到68.8%,说明这套记忆内化思路对需要连续动作的机器人控制同样有效。

文章标签学术研究

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。