你有没有想过一件事：为什么现在那些号称能"看懂你生活"的智能眼镜、AI助手，往往在你第二天重新戴上它的时候，就好像完全不记得昨天发生了什么？
你昨天跟它说"帮我记住红色的罐子是煮的可可粉，蓝色的是喝的",今天你伸手去拿红罐子准备冲饮料，它却眼睁睁看着你出错,一声不吭。
这不是科幻场景，这是当下几乎所有流式视频AI系统的真实状态。而东方理工大学联合上海交大、大连理工等多家机构的研究者们，最近做了一件挺较真的事：他们造了一个叫**APM-Bench**的测试平台，专门用来戳穿这些AI助手"金鱼记忆"的真相。
流式视频模型：能实时看视频、实时对话的AI系统，比如你戴着智能眼镜时，它一边"看"你做饭一边跟你聊天。
这篇论文的核心发现挺扎心的：现在市面上无论是通用大模型还是专门做流式记忆的系统，几乎都做不到同时满足"记得住、反应快、存得起"这三件事。你要么让它拼命存视频，结果又贵又慢；要么让它偷懒只存个文字摘要，结果它压根记不清细节。这篇文章就带你把这件事彻底拆开看看。
生活是断断续续的，AI的记忆却总被设计成连续的
先说一个大家可能没细想过的事实。
现在几乎所有评测AI视频理解能力的基准测试，用的都是一段完整连续的视频。你给它十分钟、半小时的视频，问它里面发生了什么，它答得还不错。这类测试背后有个隐藏假设：交互是连续不断发生的。
但你回想一下自己真实的生活节奏。你早上戴上智能眼镜出门买菜，中午摘下来吃饭，下午又戴上去健身房，晚上摘下来睡觉。这中间充满了"断电"时刻。你今天问AI"我上周三做饭时把切好的芒果放哪儿了",这已经跨越了好几次开机关机、好几天的时间。
如果AI只会处理连续视频，那它对这种跨会话的提问基本就是抓瞎的。这就是研究者们想解决的第一个根本矛盾：真实世界的交互是碎片化、间歇性的，但过去的评测体系却假装它是连续的。
持久记忆：一种在交互结束后依然能保存下来、供未来重新调用的记忆形式，区别于那种"这段对话结束就清空"的短期记忆。
这就好比你请了一个私人助理，但这个助理每次下班回家就把当天的工作笔记全烧掉了，第二天上班时得重新认识你一遍。你会觉得这人靠谱吗？肯定不会。你需要的是那种下班后把笔记本锁进抽屉、第二天翻开接着用的助理。持久记忆要解决的就是这个"锁进抽屉"的能力，而不是"烧笔记"。
APM-Bench：把生活切成一段段"会话"，中间留出真实的时间缺口
研究团队的做法挺巧妙的。他们没有自己拍新视频，而是用了两个现成的第一人称视频数据集：一个是记录多天生活的EgoLife，一个是厨房场景细致标注的HD-EPIC。
他们把这些视频重新组织成了**"活动相关的多会话轨迹"**。什么意思呢？就是把原本零散的视频片段，按照"同一件事情的不同阶段"串起来。比如做一次甜品，可能分散在第1天、第3天、第5天分别拍了准备食材、烘焙、装饰三个片段，这三段视频虽然隔了好几天，但共同构成了一条"做甜品"的完整故事线，研究者就把它们打包成一条"轨迹"。
轨迹：由多个时间上分散但主题相关的"会话"组成的一整条活动线索，比如"多次协作做甜品"就是一条轨迹，里面包含第1天的准备、第3天的烘焙、第5天的装饰这几个会话。
会话：轨迹里的一个独立片段，本身是一段连续视频，有明确的开始和结束时间。
最终这个基准包含了104条轨迹、549个会话、2719道题目。平均每条轨迹的视频总长只有69分钟，但真实时间跨度却常常拉长到几十甚至上百小时。这个数字对比特别值得琢磨：视频只有1.1小时，但现实里这件事横跨了58.9小时。这种"内容浓缩、时间拉长"的设计，恰好模拟了真实生活里的间歇性使用场景，也让研究者能够精确测量存储和延迟的代价，因为该记住的东西没多少，考验的是你会不会挑。
三种能力，一个都不能少
APM-Bench没有只测一件事，而是拆成了三块能力去考。
第一块叫**跨会话理解**。就是问AI关于过去某个会话里发生的事，比如"我两天前把芒果放哪儿了"，AI得从存下来的记忆里把对的信息翻出来。这里面又细分成三种考法：回忆具体事件、追踪某个物品的状态变化、比较不同时间点推断先后顺序。
第二块叫**实时感知**。这个是测AI理解当下画面的能力，比如"现在这个人在用开罐器做什么"，同时也顺带看看，如果给它塞了一堆过去的记忆，会不会反而干扰它看清眼前的事情。
第三块叫**主动响应**，也是全文最难啃的一块。这个考的是AI该不该主动说话、该说什么。比如你之前跟它说"提醒我烤箱别烤太久"，等真到了那个时间点，它得自己判断"现在该提醒了"，而不是干等着你问。或者更绝的，你什么都没交代，但AI凭着"你上次做蛋挞蛋壳没挑干净"这种记忆，在你这次做蛋挞时主动提醒"先把蛋打进小碗里挑壳"。
这三块能力放一起考，暴露出一个挺有意思的分裂现象：给AI喂的历史信息越多，它在"跨会话理解"上表现越好,因为细节保留得多;但同样这堆历史信息喂多了，它在"实时感知"上反而变差了，因为无关的旧信息会干扰它盯着眼前画面看。
这就像你去参加一场重要的面谈，随身带着一整箱过去十年的工作笔记本。理论上，如果面试官突然问起五年前某个项目的细节，你翻箱子能找到答案，这是好事。但现实是，你面前摆着一大箱纸，你光是维护这个箱子的注意力，就已经分散了你听懂对方此刻问题的精力。如果这箱笔记不管当下问题相不相关都摊开在桌上，你反而会更慢更乱。记忆这件事，光有"存得住"还不够，还得有"知道什么时候该翻、什么时候该合上"的判断力。
存什么，怎么存：五种记忆方案的正面较量
研究团队测试了两大类系统。一类是通用大模型，比如Gemini 3.6 Flash、Seed-2.0-Lite这些；另一类是专门为流式视频设计的记忆系统，涵盖了五种不同的技术路线。
先说通用大模型这边，他们试了三种"喂记忆"的方式。
第一种叫**"原始视频作为记忆"**，说白了就是把过去每次会话的视频原封不动存起来，等你问问题的时候再重新回放一遍给AI看。这个方案效果最好，Gemini 3.6 Flash在这个设置下拿到了60.21分的综合成绩，是所有方案里最高的。
但代价也摆在那儿：存储成本高达每小时3.01GB，而且查询延迟随着视频量增长会越来越慢。
第二种叫**"文字摘要作为记忆"**，就是每次会话结束后，让AI先把这段视频写成一段文字总结，之后查询时只给它看文字，不再回放视频。这个方案存储成本骤降到每小时几KB，压缩比接近百万倍，但代价是跨会话理解能力明显下降，因为很多视觉细节在压缩成文字时就丢了。
第三种是**空跑基线SimpleStream**，也就是完全不给记忆，只让AI看最近的4帧画面。这个方案作为对照组，跨会话理解分数只有27.21分，惨不忍睹，但恰恰说明了记忆确实是刚需，不是锦上添花的东西。
再来看专门的记忆系统，这里有五种流派，我挑几个有代表性的说说。
**KV缓存类**：这类方法把模型内部处理过的"注意力缓存"压缩保存下来，代表是HERMES和ReKV。ReKV存储成本极高，每小时要吃掉20.84GB，速度也不快，说明单纯压缩缓存并不是特别经济的路线。
KV缓存：Transformer模型在处理序列时会生成的中间计算结果，把它保存下来可以避免重复计算，但这些缓存本身占地方不小。
**事件树类**：把历史组织成一棵按事件划分的树状结构，代表是StreamForest和OASIS。这类方法在这次评测里表现最亮眼，OASIS综合得分41.46，是专门系统里最高的，而且它是少数同时支持流式输入和持久记忆的系统。
**参数化记忆**：这个思路挺特别的，它不是存一堆数据，而是直接把新信息"训练"进模型参数里。代表方法是Video-SALMONN S。它的优势是记忆大小不会随视频变长而膨胀，缺点是目前这条路线效果还比较弱，综合分只有18.72。
**视觉Token压缩**和**推理思维链**两类方法，代表分别是FluxMem、Flash-VStream和VST，整体表现也不算突出。
事件树这个方案能跑赢原始视频压缩派，说明了一件事：记忆这件事，把信息按"事件"这种人类理解世界的方式组织起来，可能比死记硬背原始画面更接近问题的本质。这就好比你回忆昨天一整天，你脑子里浮现的不是一帧一帧的连续画面，而是"早上买菜、中午吃饭、下午开会"这样的事件片段。人脑天生就是按事件压缩记忆的，AI往这个方向走，效果反而更好，这不完全是巧合。
效用、延迟、存储：三者不可兼得的现实
论文里有一张图特别能说明问题，横轴是"首字延迟"（你问出问题到AI开始回答要等多久），纵轴是"综合得分"，气泡大小代表存储成本。
看这张图会发现一个扎心的规律：得分高的方案，气泡往往偏大（存储贵）或者位置偏右（延迟高）；反过来那些又快又省的方案，得分普遍不高。目前还没有一个方案能同时做到左上角，也就是"又便宜又快又准"。
这背后其实是个很朴素的道理。就像你要给一个仓库管理系统设计存货策略，你可以选择把所有货物原样堆在仓库里，找东西方便但占地方还费时间搬运；你也可以选择只记个大概清单，省地方但真要找具体某个零件的批次编号就抓瞎了。仓库管理没有免费的午餐，AI记忆系统同样没有。
论文特别强调了这个"效用-延迟-存储"三角，用意很明显：不要只盯着准确率这一个指标就说某个方法好，得看它是不是能在实际部署里跑起来。一个实验室里跑分很高但每小时要吃掉20GB存储、延迟要等半分钟的方案，放到真实的智能眼镜上是完全用不了的。
主动响应为什么这么难：有没有"提示"是关键分水岭
论文里专门花了一节篇幅解释为什么"主动响应"这个能力这么难提升，哪怕是最强的通用大模型在这块也表现平平。
关键的分野在于：AI有没有一个明确的触发条件。
比如"提醒条件响应"任务，用户之前明确说过"如果热油超过多少度就提醒我"，AI只需要判断当前画面是不是满足了这个条件，这种任务AI做得相对不错。但"记忆驱动的主动协助"任务就完全不一样了，用户什么都没说，AI得自己判断"这个场景和我记得的某次经历有关联，而且现在提醒是有用的"，这种没有明确触发信号、需要AI自己把历史经验和当下场景联系起来的任务，成绩普遍惨淡。
论文附录里做了个很扎实的对照实验：即便只给AI提供恰好需要的那点历史证据（不多不少，叫做Oracle设置），主动响应的得分依然只有28.98到51.86分，远不如跨会话理解那种给了必要证据后能冲到七八十分的表现。这说明了一件更深层的事：记不记得住是一回事，知不知道"现在该不该说、说什么"完全是另一回事。前者考的是检索能力，后者考的是判断力，这是两种完全不同的认知任务。
这让我想起一个生活里的类比。你朋友跟你抱怨过一次"我最近老失眠"，这个信息你记住了，这叫记忆。但三个月后你们一起吃饭，他点了一杯浓咖啡，你要不要开口说"你不是失眠吗，还喝咖啡"，这个判断需要的不只是记住那句抱怨，还得判断现在这个场合、这个动作，是不是值得你插一句嘴。如果每次想起点什么都要说，那你就是个话痨；如果永远不说，那记忆就白存了。AI现在面临的正是这个两难，它要么谨慎到从不主动开口，要么鲁莽到什么都插一句，很难拿捏那个恰到好处的分寸。
更麻烦的问题：AI不知道自己"不知道"
论文里还设计了一个特别刁钻的测试，叫**证据可用性感知评测**。
具体做法是这样的：故意只给AI看最近两个会话的记忆，其余更早的历史一律屏蔽掉。然后出260道题，其中130道题所需的证据恰好在这两个会话里能找到，另外130道题所需的证据在更早以前，AI根本看不到。每道题除了ABCD四个选项，还加了第五个选项，内容是"现有信息不足以回答"。
这个测试要看的是：AI在证据够用的时候能不能答对，在证据不够的时候敢不敢承认自己不知道。
结果挺有意思的。表现最强的Gemini 3.6 Flash，在证据充足时准确率高达85.38%，但在识别"证据不足"这件事上只有59.23%的正确率，经常会硬编一个答案出来，而不是老实说"我不知道"。反过来，那个只看最近4帧画面、几乎没有任何记忆的SimpleStream基线，在识别"证据不足"上反而做得极好，达到95.38%，因为它压根什么都不记得，本能地就倾向于说"我不确定"，但代价是它在证据充足时的答对率只有3.85%，几乎全军覆没。
这两个极端摆在一起特别讽刺：记性好的模型爱瞎编，记性差的模型爱认怂,两种毛病都不理想，真正靠谱的AI应该是"知道自己不知道",而不是靠碰运气蒙对或者干脆全说不知道来蒙混过关。
这就好比考试的时候，学霸往往有个坏习惯，看到题目就下意识开始答，哪怕这道题超纲了他也硬凑一个答案，因为他习惯了"我应该会"；而那些平时压根没复习的学生，反而更容易一看不会就交白卷，虽然显得诚实，但那不是判断力，是无能为力。真正厉害的答题者，是那种清楚知道"这道题我学过、那道题我没学过"，然后该答的答、该说不会的坦然说不会的人。AI现在还差这个火候。
论文给出的建议方向是，未来的记忆系统应该让"这段记忆到底覆盖了哪些内容"这件事变得透明，让AI能够清楚知道自己记忆的边界在哪儿，而不是靠猜。
一些具体又扎实的数字
整个基准测试的构建过程也挺讲究。研究团队先用GPT系列模型对EgoLife视频生成多层级摘要，再挖掘出165条候选轨迹，人工筛掉不合格的，保留了76条有效轨迹；HD-EPIC那边则是基于菜谱步骤自动构建了34条候选，最终保留28条。两边加起来104条轨迹，经过候选题目生成、选项盲审、时间戳过滤、AI代理复核、人工终审这一整套流程，从最初6412道候选题目层层筛选精炼到最终的2719道。
抽样300道题让两位标注员独立核对，达成了0.868的科恩卡帕系数，这个数字在标注一致性评估里属于相当高的水平，说明这套题目质量是经得起推敲的。
Q&A
Q1：APM-Bench是什么？
A：APM-Bench是一个专门测试AI视频助手"跨会话持久记忆"能力的基准平台，把生活场景组织成多个时间上分散但主题相关的会话，考察AI能不能在几天甚至几十小时的间隔后，依然记得之前发生的事，并做出恰当的主动响应。
Q2：为什么原始视频记忆效果最好但不实用？
A：原始视频记忆保留了最完整的细节，跨会话理解得分最高，但存储成本高达每小时3GB左右，查询时还要重新回放整段视频，延迟很大，在智能眼镜等真实设备上很难承受这个代价。
Q3：AI助手为什么会在证据不足时瞎编答案？
A：论文实验发现，记忆能力强的模型往往过度自信，即便看不到相关证据也倾向给出一个答案，而几乎没有记忆的模型反而更容易承认不知道，说明当前AI普遍缺乏"知道自己不知道"的判断力，这是记忆系统亟待解决的问题。
