你有没有试过一边刷手机一边看剧,结果同事突然问你"刚才那个穿红衣服的人去哪了",你愣住了。你明明一直"看着"屏幕,但那个信息就是没存进脑子里。
这正是今天几乎所有视频AI系统的真实状态。
当一段视频像直播一样源源不断涌进来,系统没办法等到"看完全片"再回答问题。它必须边看边记,还得在不知道未来会被问什么的情况下,决定哪些画面值得留下来。这篇来自南开大学、字节跳动等机构的论文,提出了一个叫DeltaStreamer的系统,试图解决这个听起来简单、做起来极其棘手的问题。
流媒体视频理解:当"看完再答"变成了奢望
传统的视频AI模型,比如很多图像和视频大模型,处理的方式都是先拿到完整视频,分析一遍,再回答问题。这就像考试前把整本书读完再答题,从容得很。
但现实世界不是这样运作的。监控摄像头在直播、机器人在实时感知环境、自动驾驶系统在不断观察路况,这些场景里视频是一帧一帧流进来的,而且提问可能发生在任何时刻,甚至是事件已经过去很久之后才被问起。系统只能依赖"已经看过的部分",不能偷看未来,也不知道提前该重点记住什么。
流媒体视频理解:指系统必须对连续到达的视频流进行实时处理,不能访问未来帧,且需要在问题到达后立即或持续地给出回答的任务设定。
现有的解决方案大致分成三条路。一条是做token压缩,把视频表征的信息量想办法压小;一条是做KV缓存复用,把计算过的中间结果存起来重复利用;还有一条是走多轮对话的路子,把历史内容不断摘要精简。
这三条路都在拼命解决"怎么把东西塞进有限的记忆预算里",但它们共享着同一个致命伤。
第一个问题是,这些方法记录的东西往往只是"现在是什么样子",而不是"发生了什么变化"。想想看,连续几帧视频的内容往往高度相似,如果系统每一帧都生成差不多的描述,那些重复的文字就会疯狂挤占有限的记忆空间,真正标志着事件转折的关键瞬间反而被淹没在一堆雷同的描述里。
第二个问题更麻烦:一旦某一帧画面过去了,能留下的证据就只剩下当初记录下来的那点文字。如果当时没把某个细节写进去,之后哪怕问题恰好问到这个细节,也彻底没办法补救了,因为原始画面已经不在系统的"视野"里了。
这两个问题结合起来,意味着现有系统在管理"记忆预算"上花了大量心思,却很少思考"怎么记录变化"和"怎么找回遗漏的证据"这两件更根本的事。
论文团队给出的答案,说起来特别朴素:让系统像人一样看视频。
人类在追一部剧的时候是怎么做的?我们不会试图把每一帧都死记硬背下来,而是关注"发生了什么变化",比如谁进门了、谁打开了一个东西、剧情出现了转折。这些变化构成了我们记忆的骨架。等到有人问起某个具体细节,比如某个角色穿的衣服是什么颜色,我们如果记不清,会怎么做?我们会试着回放那段记忆,在脑海里"倒带"去确认。
DeltaStreamer正是把这两件事做成了系统能力:持续观察时主动记录变化,被提问时能够"回放"历史画面去核实细节。
变化感知记忆:把"发生了什么"写进记忆,而不只是"现在是什么"
DeltaStreamer的第一个核心设计叫delta-augmented observation,可以理解为"带差异标注的观察"。
delta(增量/变化):指系统在比较相邻两帧画面后,用文字明确记录下的视觉变化内容,比如某个物体出现、某个人的动作状态发生转变等。
具体做法是,系统每处理一个采样帧,不是单独描述这一帧的内容,而是把它和前一帧放在一起,让一个视觉语言模型同时生成两样东西:一是这一帧的结构化场景描述,包含人物、物体、动作、画面中的文字、场景信息;二是和上一帧相比到底变了什么。
视觉语言模型(VLM):一类可以同时理解图像和文字、并用自然语言描述图像内容的AI模型,是本文系统进行场景观察的核心组件。
这里有一个容易被忽略但很关键的细节:论文专门设计了一套"新颖性打分"机制,去衡量每一条观察记录相比最近的历史记录到底提供了多少新信息。如果一个场景描述翻来覆去都差不多,它的分数就低,会被标记为低优先级;但只要delta字段里出现了实质性的变化,这条记录的权重就会被显著提高。换句话说,系统在"主动筛选"哪些瞬间值得被认真对待。
这个设计思路可以类比成你在写旅行日记。如果你每天事无巨细地记录"今天天气晴,我吃了早饭,走了很多路",日记本很快会被填满,但翻回去看的时候根本找不到重点。真正有价值的日记是记录"今天在路口遇到了一只会说话的鹦鹉"这种突变事件。如果你不这样记,而是流水账式地记录每一天的状态,那么几周之后你翻日记想找"那只鹦鹉是什么时候出现的",你会发现自己得把整本日记从头翻到尾,因为每一页看起来都差不多。
论文的消融实验也印证了这一点。在OVO-Bench基准测试上,不记录delta、只看单帧的设置得分是58.87,加入文本记忆对比的方式能提到63.19,而同样是两帧输入但不显式记录变化的设置是61.12,而加上显式视觉差异记录之后,直接跳到了66.07。这中间的差距不是一点点,说明"把变化写下来"这件事本身,比单纯多给模型看一帧画面更重要。
有分层、可溯源的记忆结构:记忆不是一个黑箱,而是一张带地址的地图
光记录变化还不够,因为随着视频越看越长,记忆也会无限膨胀。DeltaStreamer用了一套三层的有向无环图结构来组织记忆。
三层记忆结构:工作记忆(Working Memory)存放最原始的逐帧观察记录;情景记忆(Episodic Memory)把相关的工作记忆汇总成事件摘要;长期记忆(Long-term Pins)保留更精炼、跨越更长时间的核心事实。三者之间用"源指针"相互关联,可以从摘要一路追溯回最初的观察记录甚至原始视频帧。
这套结构最妙的地方在于双向可追溯性。情景摘要知道自己是由哪些工作记忆拼成的,工作记忆也知道自己属于哪个情景、对应视频的哪一帧。这意味着系统既能用精炼的摘要快速把握"大概发生了什么",又能在需要细节时顺着指针一路摸回最原始的证据。
这就好比图书馆的索引系统。如果你只有一本厚厚的书,没有目录没有索引,想找某个具体段落得从头翻到尾。但如果有分级的目录结构,从"总目录"到"章节标题"再到"具体页码"层层嵌套,你就能快速定位,同时又不会丢失找到原文的能力。如果DeltaStreamer只保留摘要而不保留指向原始观察的指针,那么一旦摘要漏掉了某个细节,这个细节就永远消失了,这正是现有多轮对话方法的痛点所在。
除此之外,系统还维护了一个实体索引,专门记录每个人物、物体名字对应出现在哪些时间点,方便后续按名字快速定位。
消融实验显示,把分层记忆换成扁平记忆,分数从66.07掉到61.25;去掉有向无环图结构,分数掉到62.73;去掉实体索引,掉到63.40。另外,用在线的事件边界检测方法(基于贝叶斯在线变点检测算法BOCPD)来动态划分情景,比固定长度分组的方式效果更好,66.07对63.77。
贝叶斯在线变点检测(BOCPD):一种统计方法,用来实时判断一连串数据是否出现了"断点",即从一种模式切换到了另一种模式,这里被用来判断视频内容何时发生了语义上的转折。
这套方法的意义在于,它允许系统在"记住大概"和"保留细节入口"之间找到平衡,不必非此即彼。
问题驱动的规划:带着明确目标去翻找证据
前面两个设计解决的是"怎么记"的问题,接下来要解决的是"问题来了之后怎么找"的问题。
这就是query-driven planner,查询驱动规划器。当一个问题出现的时候,系统不会立刻瞎翻记忆,而是先让模型停下来,认真分析这个问题到底在问什么。
规划器会生成一个结构化的计划,里面包含几个关键字段:需要什么证据、证据的时间锚点在哪里、这是谁的视角(比如是不是第一人称问题)、需要什么类型的信息(是时间顺序、空间方位、还是数量统计)、证据大概藏在过去、现在还是未来、以及有没有"无法回答"这个选项。
这个规划一旦生成,就会被持续携带在后续所有的推理步骤里,而不是问完一次就扔掉。论文把这个叫做"持久化证据指南"。
想象你去图书馆找一本很冷门的书。如果你每走到一个书架前都重新想一遍"我到底要找什么",效率会很低而且容易跑偏。但如果你出发前就在纸条上写清楚"找20世纪30年代关于航海的德语小说,作者姓氏以M开头",这张纸条你可以一路带着,每到一个区域就拿出来核对,而不用每次重新思考目标是什么。如果没有这张持久化的计划,系统很容易在翻查记忆的过程中逐渐偏离最初的问题核心,尤其是当需要连续调用多个工具时。
消融实验把规划器拆解得很细致。不用规划器时,总分是59.30,幻觉检测(HLD)子任务只有45.28分;仅加入计划生成这一步,总分升到63.85,HLD飙升到65.83;再加上"计划持久化"这一步,总分到64.77;加上视角字段(POV),到65.14;最后加上完整的证据指南,到66.07,HLD达到69.89。
这里有个特别值得玩味的细节,HLD(幻觉检测)这个任务在"仅加入计划生成"这一步出现了接近20个百分点的暴涨。这说明很多时候AI产生幻觉,不是因为它看不清画面,而是因为它没有先把问题想清楚就急着回答。先规划、再回答,这个顺序本身就在很大程度上抑制了瞎编的冲动。
更有意思的是,论文还做了交叉实验,看delta记录、分层记忆、规划器这三个组件两两组合、三者全开分别会怎样。结果显示,单独开启分层记忆再叠加delta,只带来了0.93分的提升;但如果同时开启规划器,叠加delta的提升幅度一下子跳到4.95分。这说明这几个组件之间不是简单的加法关系,而是存在着协同效应:丰富的记忆只有在系统知道该找什么的时候才真正发挥作用,规划能力也得益于明确的变化记录和可追溯的来源信息。三者全开的组合,分数全面超过了所有单独和两两组合的设置。
回溯验证与targeted replay:当文字记忆靠不住的时候,回去看原始画面
即便记忆系统设计得再精巧,文字描述终究有它的局限。一段话不可能把画面里的所有细节都写进去,总会有取舍。那怎么办?
DeltaStreamer给出的答案是replay机制,直接回放历史帧,重新看一眼原始画面。
这个机制有两个触发入口。一是智能体自己意识到需要某个视觉细节而当前记忆里没有,主动请求;二是系统内置了一个基于规则的验证器,专门检查检索到的记忆记录之间是否存在冲突,一旦发现无法调和的矛盾,就会自动触发回放去核实。
验证器的工作方式挺讲究的。它会把同一主体、同一属性的多条记忆记录分组,先做一轮"预检查",比如如果一个组里的说法前后一致,或者记录之间的时间间隔很近(在1fps的采样频率下不超过2秒),就认为没必要回放。只有真正出现跨层矛盾或者状态跳变的情况,才会被标记为候选回放对象,并按照优先级公式排序,优先回放严重冲突且时间上更接近提问时刻的片段。
这套机制其实很像法庭上的质证环节。证人证词(也就是文字记忆)如果彼此矛盾,法官不会轻易采信任何一方,而是调取监控录像(也就是回放原始帧)来核实真相。如果没有这个"调录像"的环节,系统就只能在相互矛盾的记忆描述里硬选一个相信,准确率自然会打折扣。
消融实验证明了这一点的分量。在完整工具集的情况下总分是66.07,一旦去掉replay功能,分数掉到63.28,是所有工具移除实验里降幅最大的一个。相比之下去掉物体追踪(tracking)掉到65.31,去掉放大裁剪(zoom)掉到64.16,降幅都没有replay这么明显。这说明,有些信息确实是文字记忆从一开始就没有捕捉到的,只有回到像素级别的原始画面才能补救。
论文里有个很生动的例子。在一个场景里,有人问"刚才走过的那辆车是什么颜色",系统发现记忆里确实记录了"一辆车经过",但颜色信息没有写进去。于是系统主动触发回放,跳回那个时间点,重新审视画面,最终确认答案是绿色。这正是文字记忆和像素证据互补的典型案例:delta记录保证了"有辆车经过"这件事不会被遗忘,而replay保证了遗漏的细节还有机会被补上。
数据说话:在两个权威基准上的实测表现
说了这么多设计理念,最终还是要看实际跑分。
在OVO-Bench这个专门测试实时感知、事件回溯和主动响应能力的基准上,DeltaStreamer拿到了66.07的总分,比同为智能体路线的EventMemAgent高出5.32分,甚至超过了Gemini 3 Flash的64.02分2.05个百分点。细看子项,DeltaStreamer在动作序列识别(ASI)上拿到79.05分,幻觉检测(HLD)上拿到69.89分,这两项恰好对应着论文最强调的"区分事件转折"和"按需收集证据"的能力。
OVO-Bench:一个专门评测视频大模型在真实在线场景下表现的基准测试,涵盖实时视觉感知、历史事件回溯、主动响应三大类共12个子任务,共计3035个评测样本。
在StreamingBench这个更侧重实时理解、多模态信息融合和上下文推理的基准上,DeltaStreamer拿到59.53分,比STRIDE高1.95分,同样优于StreamAgent。在上下文理解相关的子任务里,误导性语境理解(MCU)拿到55.20分,连续问答(SQA)拿到47.60分,表现都相当亮眼。
StreamingBench:另一个评测大模型流媒体视频理解能力的基准,覆盖实时视觉理解、跨模态信息整合、上下文推理三大类共计4500个问答样本。
不过论文也很诚实地指出了一个短板,在"主动输出"(PO,Proactive Output)这个子任务上,DeltaStreamer只拿到了10.40分,表现偏弱。这说明"证据找得准"和"该在什么时机开口说话"是两个不同的能力,光把证据收集这件事做好,并不能自动解决"什么时候该主动回应"这个更难的时序判断问题。
这个坦诚的自我批评挺难得的,毕竟很多论文倾向于只强调自己的优势。但也正因为如此,这个短板反而让人对整个研究的可信度多了几分信任。
从记忆规模的统计数据也能看出一些有意思的东西。在OVO-Bench上,平均每个样本会积累70.85次视觉观察,每条观察描述平均1279个字符,delta字段平均155个字符;到完成时,工作记忆平均存储131.91条记录,形成11.68个情景摘要。而回放工具的调用频率很低,平均每个问题只调用0.17次。这恰恰印证了论文的设计初衷:回放是一种"按需使用"的精细化手段,不是常规操作,大部分时候靠记忆检索和当前画面就足够回答问题了,只有在真正遇到棘手细节时才动用这个相对昂贵的工具。
写在后面
读这篇论文的时候,最触动我的其实不是具体的技术细节,而是它选择的那个参照系:人类是怎么看视频的。这听起来像一句正确的废话,但真正把它拆解成可执行的系统设计,难度远比想象中大。
有个细节我反复琢磨了很久。论文提到,当系统面对一个第一人称视角的问题时,比如"我和谁说过话",它需要先判断"我"到底是谁。这听起来是个很小的技术点,但背后牵涉到一个挺深的认知问题:摄像头拍到的那个清晰、完整出现在画面中央的人,很可能恰恰不是提问者本人,因为提问者作为摄像头佩戴者,自己的身体往往只在画面边缘露出手脚。这种"主体不在画面中心"的错位,恰恰是很多AI系统容易答错的地方,而论文专门为此设计了一套视角判断逻辑。这让我意识到,很多看似简单的问题,拆开之后全是陷阱。
另一个让我意外的点是消融实验里那个交叉效应。单独加delta记录带来不到1分的提升,但配合规划器之后提升接近5分。这提醒我一件事:很多时候我们评价一个技术组件"有没有用",容易陷入孤立评估的误区。一个组件的价值可能恰恰依赖于另一个组件是否同时存在,脱离了协同关系单独看,很容易低估它真正的意义。
这篇论文也留下了一个没解决的问题,就是前面提到的"主动输出"时机判断。这其实是个挺哲学的问题:知道答案和知道什么时候该说出答案,是两种完全不同的能力。前者考验的是信息收集和推理,后者考验的更像是社交直觉和场景判断。一个系统可以把证据找得滴水不漏,却依然不知道这个答案什么时候该主动蹦出来,这个gap要怎么填,恐怕不是靠堆更多记忆层级就能解决的。
Q&A
Q1:DeltaStreamer是什么?
A:DeltaStreamer是一个面向流媒体视频理解的智能体框架,它模仿人类观看视频的方式,持续记录画面中的变化,并在用户提问后主动规划证据收集路径,必要时回放历史画面来找回文字记忆中遗漏的细节。
Q2:DeltaStreamer和普通视频AI模型有什么区别?
A:普通视频模型大多需要先拿到完整视频再分析,而DeltaStreamer专门针对帧一帧一帧实时到达、问题随时可能出现的场景设计,它会持续更新结构化记忆并记录帧与帧之间的具体变化,而不只是静态描述每一帧内容。
Q3:DeltaStreamer在实际测试中表现如何?
A:在OVO-Bench基准上总分达到66.07%,超过Gemini 3 Flash等强模型;在StreamingBench上总分为59.53%,也优于多个代表性流媒体理解方法,但在主动响应时机判断任务上仍有明显短板。







