你有没有遇到过这种情况：把钥匙放在了某个地方，几分钟后转身就忘了放哪儿了。这种事发生在人身上尴尬一下就过去了，但如果发生在一个正在给你端茶送水的家用机器人身上，后果就完全不一样了。
浙江大学的研究团队做了一个特别有意思的实验。他们把两个目前算是顶尖水平的多模态大模型，Gemini-3-Flash 和 Qwen3-VL-32B，扔进一个叫 EmbodiedBench 的测试环境里，让它们去完成一些日常家务任务，然后专门挑出一百条失败的记录仔细分析。结果发现，91%的失败都可以归到四类问题里：模型忘记了刚才看到的东西、没注意到环境发生了变化、不记得之前尝试失败的教训、学不会从过去的经验里总结规律。
**这个发现挺让人意外的：这些顶尖模型不是因为不会推理、不会规划才失败的，而是因为它们记不住东西。**
这就好比你请了一个非常聪明的助理,智商很高、反应很快，但他有严重的短期记忆问题。你让他去厨房拿一下刚才看到的那把水果刀，他明明五分钟前路过厨房台面时瞟见过那把刀，但现在你一问，他就完全想不起来刀在哪儿了，只能满屋子瞎找。如果这个助理连这种事都记不住，那再聪明也没法委以重任。
论文里给了一个特别典型的例子。任务是把方块搬到黑桌子上，把柠檬搬到左边台面上。机器人执行第一步搬方块没问题，可是当它路过厨房柜台、瞥见了柠檬之后，居然没有把这个信息存下来。后面几步它开始满世界找柠檬，一次次导航去搜索，却怎么也想不起来柠檬其实早就在它眼皮底下出现过。
这篇论文要解决的，就是给具身智能体装上一套靠谱的记忆系统。
具身记忆和普通记忆不是一回事
先说清楚一件事：机器人的记忆问题，和 ChatGPT 记不住你上次说了什么，完全不是一个量级的挑战。
**文本记忆**只需要存储语言信息，就像记笔记一样，把对话内容按时间顺序存下来就行。**多模态记忆**往前进了一步，能同时处理图片和文字，比如记住某张截图配的文字说明。但**具身记忆**要处理的是一整套因果链条：机器人做了一个动作，环境因此发生了变化，这个变化又产生了新的反馈，而这个反馈本身可能揭示了一些光靠看是看不出来的信息。
抽屉锁没锁、柜子能不能打开、某次抓取动作到底成没成功,这些信息只有在机器人真正动手尝试之后才会暴露出来，纯粹靠"看"是看不到的。
具身记忆*：让智能体记住观察、动作和反馈之间因果关系的记忆系统，区别于只记录语言或图文的传统多模态记忆。
如果不专门为这种因果链条设计记忆机制会怎样？想象一个机器人试图打开一个上锁的抽屉，动作失败了，但它只是简单地把这次"失败"当成一条孤立的日志记下来，没有把"这个抽屉锁着"这个状态和"抽屉"这个物体本身关联起来。下一次任务需要开抽屉的时候，它压根想不起来之前失败过，于是又去试了一次，又失败了。这不是记忆容量的问题，是记忆结构的问题，记住了事情发生过，却没记住这件事对未来意味着什么。
四种记忆能力，四道送命题
研究团队根据观察到的四类典型失败，设计了一个叫 EmbodiedMemory-Bench（简称 EMem-Bench）的测试集，一共包含 2554 个交互场景，分成四个任务家族，每一个都精准打击一种记忆缺陷。
**被动观察（Passive Observation）**考验的是细粒度视觉记忆。测试场景里会让智能体在执行某个任务的过程中，"顺便"路过目标物体，比如导航去别的地方的路上，恰好经过了摆满东西的咖啡桌，桌上有个笔记本电脑一闪而过。后续的任务会要求智能体找到这台笔记本电脑。这就是在考验：那些不是任务重点、只是"顺带看到"的细节，智能体到底记不记得住。
**动态追踪（Dynamic Tracking）**考验的是世界状态的实时更新能力。物体的位置和状态在现实世界里是会变的，书可能从床上被挪到了桌子上，中间可能还经过了一个纸箱子。智能体如果只记住了最早看到的位置，而没有把后面的变化更新进去，就会去床边扑个空。
**交互失败（Interaction Failure）**考验的是从行动结果里学习的能力。有些信息光靠眼睛是看不出来的，比如某个柜子锁没锁，只有真的试着打开一次才知道。智能体尝试打开顶层抽屉失败了，得到反馈说锁住了，后面遇到需要收纳东西的任务时，它应该记得避开这个抽屉，转而选择底层那个能打开的。
**经验泛化（Experience Generalization）**考验的是从多次纠正中总结规律再迁移到新物体的能力。比如智能体把刀放错了地方，被人纠正说应该放进抽屉；后来又把勺子放错了，同样被纠正放进抽屉。等到它遇到一把叉子的时候，能不能自己意识到"厨具应该放抽屉"这条规律，而不是又傻乎乎地放在桌子上。
这四道题目背后其实是四种完全不同的记忆机制。视觉细节要靠"存下来"，动态状态要靠"替换掉旧的"，交互反馈要靠"关联到具体物体上"，经验规律要靠"从多个案例里抽象出共性"。任何一种能力的缺失，都会在特定场景下让机器人显得笨拙又固执。
这套题不是随便编的，背后有一整套质检流程
值得说一下的是，这套基准测试的构建过程相当讲究，不是简单地在模拟器里录几段视频就完事了。
整个流程分四步。第一步是挑选场景，研究者用了 AI2-THOR 和 ProcTHOR 两个家居模拟器，把不同房间类型的场景组合成一个多房间的虚拟住宅，还专门扩展了进出房间的动作指令。
AI2-THOR / ProcTHOR*：两款用于具身智能研究的室内三维模拟环境，前者场景较小，后者能程序化生成大规模多房间住宅。
第二步是构造记忆线索，也就是让智能体必须记住的那个关键信息，针对四种任务家族分别设计不同类型的线索。比如经验泛化任务的线索，是由 Claude-4.6-Sonnet 这个大模型根据场景信息生成一套包含内在规律、多个纠正案例和目标任务的结构化脚本，再落地到具体场景对象上执行出来。
第三步是插入干扰轨迹。这一步挺关键的，如果整个交互历史里只有那一条关键线索，那测试就太简单了,机器人只要记住唯一发生过的事情就行,根本体现不出"从一堆无关信息里找出关键信息"的难度。研究者用一个叫 PDDL 的规划语言自动生成大量无关的干扰任务，插在关键线索的前后，让整段历史看起来更像真实生活里那种琐碎又冗长的日常。
第四步是四层验证外加人工审核，包括环境有效性检查、轨迹重放验证、证据泄露审计，以及专家手动复核。这个流程一共筛掉了 143 个不合格的候选场景，最终留下 2554 个通过所有检验的场景。
这套构建方法本身就在传递一个信息：测试具身记忆，光靠"给个任务看会不会做"是不够的，必须精确控制信息在什么时候出现、被多少噪音包围、和后续任务之间隔了多远，才能真正测出记忆能力，而不是运气或者巧合。
现有模型考出来的成绩，挺惨的
研究团队拿着这套题去考了 16 个主流的开源和闭源模型，成绩单摆出来相当扎心。
**表现最好的 Gemini-3-Flash，平均成功率也只有 64.2%。**
更麻烦的是开源模型这边，除了一个模型，其余全都不到 45%。研究者抽查了 400 个失败案例，发现 61.3% 的失败都是因为模型的行为和它自己之前经历过的交互历史直接矛盾,换句话说，不是它不知道正确答案，是它记不住自己已经知道的东西。
有意思的是，专门针对具身场景训练的模型表现反而更差。RynnBrain-8B 只有 3.6% 的平均成功率，Cambrian-S-7B 更是只有 0.8%，都远低于通用的 Qwen3-VL-8B（25.4%）。这说明一件事：一个模型即使在空间感知、机器人动作规划这些"专业技能"上练得再扎实，也不代表它擅长在漫长交互中维护和更新记忆状态。这两种能力是相互独立的，一个模型可以很懂物理世界的规则，却完全不记得自己刚刚经历过什么。
论文里还做了一个特别扎实的对照实验，专门检验记忆到底重不重要。他们设计了四种输入条件：给模型完整正确的历史、只给当前观察不给历史、给历史但把关键线索替换成无关信息、只给最精简的一句话答案提示。结果显示，把关键线索删掉之后，Qwen3-VL-8B 的成功率下降了 11.1 个百分点，GPT-5.4-mini 下降了 21.4 个百分点，而且这个下降在各种时间跨度下都稳定存在。
**这组数据证明了一件很关键的事：这些任务真的没法靠猜或者靠常识蒙对，模型必须真正调用历史信息才能做对。**
干脆多喂点图片行不行？答案是：越喂越差
看到这里你可能会想，既然模型记不住历史，那干脆把所有历史画面全塞进上下文窗口里，让它自己去找不就行了？
研究团队专门测试了这个"暴力解法"。他们用 GPT-5.4-mini 做实验，一组只给文字化的历史记录加当前画面，另一组在此基础上，尽可能多地塞进历史时刻的原始图片，塞到模型能接受的上限为止。
结果相当反直觉：塞了更多图片之后，平均成功率不升反降，从 36.6% 掉到了 26.2%，足足少了 10.4 个百分点。与此同时输入的 token 数量涨了 4.9 倍，每一步的响应耗时涨了 9.5 倍。
**这个实验推翻了一个很直觉的假设：以为记忆问题可以靠扩大上下文窗口硬解决。**
事实恰恰相反。塞进去的信息越多，真正关键的那条线索反而被淹没得越彻底，模型要花更大力气去大海捞针，反而更容易迷失方向。
这就像你想帮一个健忘的朋友找钥匙，你的解决方案不是帮他回忆钥匙放在哪儿，而是把他家所有房间的照片都打印出来铺满整张桌子，让他自己翻。信息量确实变大了，但真正有用的那张照片，此刻正埋在几百张无关照片底下，找到它反而更难了。真正有效的记忆系统，靠的不是记住一切，而是知道该记什么、该忘什么、该在什么时候把什么信息重新拎出来。
研究团队给出的解法：三种记忆分工协作
既然堆砌信息不管用，研究团队提出了自己的方案，叫 Embodied-Memorizer（简称 EMem）。核心思路是把记忆拆成三种互补的类型，各管一摊事。
**空间记忆**维护一张实体关系图，专门记录物体当下最新的位置和状态。这里有个设计细节挺巧妙的：当新的观察和旧记录冲突时，系统不是简单地把新旧信息堆在一起，而是按"关系族"做替换。比如"在容器里""在桌子上""被拿在手里"这几种位置关系互相排斥，一旦确认了新的位置关系，旧的位置记录就会被替换掉，但其他不冲突的属性信息（比如这本书是什么颜色）会保留下来。
空间记忆*：一种维护物体最新位置和状态的结构化记忆，新信息会替换掉与之冲突的旧记录，而不是简单堆叠所有历史记录。
**事件记忆**按时间顺序记录动作和反馈，包括成功的和失败的。特别之处在于，它还能从多条相关的纠正事件里，自动总结出一条可复用的规律。比如系统发现刀和勺子先后都被纠正放进了抽屉，就会生成一条"厨具应放抽屉"的抽象规则，等遇到叉子这种没见过的新物体时，直接调用这条规则就行，不需要重新试错。
事件记忆*：按时间顺序记录动作反馈的记忆模块，能将多个相关纠正案例归纳为可迁移的通用规则。
**场景记忆**负责保存关键的视觉快照，同时给每个物体打上场景归属标签，避免"卧室里的杯子"和"厨房里的杯子"被搞混。
这三种记忆各司其职，就像一个团队里分工明确的三个人：一个专门盯着"东西现在到底在哪儿"，一个专门记"什么事试过、结果怎样",另一个专门负责"给关键画面拍照存档，别搞混了同名的不同东西"。
消融实验也验证了这三块缺一不可。研究者用 GPT-5.4-mini 做骨干，每次拿掉一种记忆，结果平均成功率都会明显下降：去掉空间记忆，动态追踪任务掉得最狠；去掉事件记忆，交互失败和经验泛化两个任务受伤最重；去掉场景记忆，被动观察任务表现最差。这个结果印证了一件事，三种记忆分别对应了三种不同的认知需求，不能互相替代。
效果到底好不好，数字说话
在不做任何针对性训练的情况下，把 EMem 这套记忆系统套在不同的骨干模型上，效果相当可观。开源的 Mistral-Small-3.1-24B 平均成功率提升了 16.4 个百分点，闭源的 GPT-5.4-mini 更是提升了 23.6 个百分点。
研究团队还专门训练了一个 8B 参数规模的小模型，叫 EMem-8B，教它学会自主判断该往记忆里写什么、该查哪个记忆库、该怎么把查到的信息转化成具体动作。这个训练用的是 LoRA 微调方法，只用了不到两千步的训练量。结果 EMem-8B 相比它的骨干模型 Qwen3-VL-8B，平均成功率又提升了 20.6 个百分点。
LoRA*：一种参数高效微调技术，只训练模型中新增的一小部分低秩矩阵，大幅降低训练成本，同时保留原模型的大部分能力。
更让人惊喜的是，这套经过记忆训练的模型不光在 EMem-Bench 上表现好，迁移到其他测试上也有正向收益。在通用具身执行测试 EB-ALF 上提升了 5 个百分点，在考验细粒度视觉理解的 BLINK 测试上也涨了 1.3 个百分点，说明这种记忆训练带来的不只是"记得住"，连带着感知能力也变精细了。
失败的锅到底该谁背
研究团队最后还做了一次细致的错误归因分析，把 400 个失败案例按错误类型拆解成三类：记忆误用（明明有相反的证据，行为却和证据冲突）、上下文推理错误（相关信息其实就在历史里，但模型没能正确理解和运用）、动作执行错误（目标和关系都判断对了，但具体操作步骤出了岔子）。
结果显示，被动观察、动态追踪、经验泛化这三类任务里，记忆误用是主要的失败原因，尤其是动态追踪任务，问题的核心根本不是"记不住历史"，而是"记住了旧的，却没能用新的信息把它覆盖掉"。而交互失败这类任务则完全是另一种画风：大部分错误出在推理环节，也就是说模型即使知道之前失败过、明明避开了同一个错误动作，却依然没能据此做出正确决策。动作执行环节的错误在所有任务里都不多，说明真正卡壳的地方，都发生在动作真正执行之前。
写在后面
看完这篇论文，有一个细节让我印象特别深:专门为具身场景训练的模型，成绩反而比通用大模型还差。这个结果有点打破常识，我们通常会觉得"专用模型应该比通用模型在专业领域更强"，但记忆这件事似乎不属于"专业技能"的范畴，它更像是一种底层认知能力，跟你会不会规划路径、会不会识别物体是两码事。这提醒我们，具身智能这个赛道上，光在动作和感知上堆参数、堆训练数据，可能根本堆不出记忆能力。
还有一个地方挺值得琢磨:研究者做的"暴力堆图片"实验，结果反而更差。这背后其实藏着一个更普遍的道理，不只是机器人，人类团队协作、知识管理系统，甚至我们自己整理笔记的方式，都面临同样的取舍：信息越多不等于越有用，关键是有没有一套机制知道什么时候该提取哪条信息、什么时候该把过时的东西扔掉。一个记性好的人不是脑子里塞满了一切，而是知道什么时候该想起什么。
这篇论文没有解决的问题也很明显:它的测试和训练全都在模拟器里完成，真实世界里传感器会有噪声，机械臂会有误差，人类给出的反馈会含糊其辞。一个在虚拟厨房里表现出色的记忆系统，搬到真实厨房里还能不能稳得住，目前还是个未知数。
机器人要真正走进日常生活，光会看、会动、会说话还不够，它得记得住昨天发生的事，还得知道哪些事该忘、哪些事该更新。这道题，看起来比想象中难得多。
Q&A
Q1：EmbodiedMemory-Bench是什么？
A：它是浙江大学团队提出的一套测试基准，包含2554个交互场景，专门用来考察具身智能体在长时间任务中的记忆能力，涵盖细粒度视觉记忆、动态状态追踪、交互反馈记录和经验泛化四大类挑战。
Q2：为什么给机器人喂更多历史图片反而效果更差？
A：因为信息过载会稀释关键线索。实验显示给GPT-5.4-mini塞入最大量历史图片后，成功率从36.6%降到26.2%，同时输入token增加4.9倍、响应耗时增加9.5倍，说明记忆的关键在于精准检索而非堆砌信息。
Q3：Embodied-Memorizer（EMem）是怎么工作的？
A：它把记忆拆分成空间记忆、事件记忆、场景记忆三部分协同工作，分别负责追踪物体最新状态、记录交互反馈并总结规律、保存关键视觉快照，在多个模型上都能带来10到23个百分点不等的成功率提升。
