你有没有想过一个问题:为什么同一家公司里,两个不同团队做的AI客服系统,遇到过的坑、踩过的雷,彼此完全没法共享?
一个AI智能体解决了一道很棘手的图表理解题,攒下了宝贵的经验。第二天,另一个用不同框架搭建的智能体遇到了几乎一模一样的问题,却只能从零开始,把昨天那个智能体走过的弯路再走一遍。
这听起来有点荒谬,但这就是当前多智能体系统(Multi-Agent System,简称MAS,指由多个AI智能体协同完成复杂任务的系统架构)领域的真实处境。每个智能体系统都在闷头攒自己的经验小金库,谁也不跟谁说话。
MIT-IBM计算研究实验室联合罗切斯特大学等机构的研究者们,就盯上了这个问题。他们做了一个叫EpiCon(Episodic Consolidation,情景整合)的框架,试图回答一个看起来简单、实际很难的问题:能不能让不同的AI智能体系统,共用一个不断进化的记忆库,而且不用去动那些智能体本身的模型参数?
先说说这事到底难在哪
在EpiCon出现之前,AI智能体的"记忆"这件事已经发展了好几个阶段。
最早期的系统,比如生成式智能体(Generative Agents)和MemGPT,做的是把交互历史存下来,需要的时候翻出来看看。后来的工作开始琢磨怎么把这些历史记录提炼、归纳、建立层级结构,让检索更聪明,比如像Mem0、A-Mem这样的系统,还有像HippoRAG这种模仿人脑海马体记忆机制的方案。
但这里有个一直没被认真对待的短板:这些记忆几乎全是文字的。
问题是,现实世界里很多任务根本没法只靠文字解决。你要理解一张地铁线路图上两个站点该怎么换乘,要看懂一份财务报表里某个数字藏在哪个角落,光靠文字描述是不够的,你得记住"证据在图片的哪个位置"。论文里提到之前已经有工作尝试让多模态智能体在长程推理中保留感知证据(比如Zeng等人2026年的工作),但这些系统的记忆通常只属于单个智能体系统自己,没法拿出去共享。
再往前一步,还有个更根本的问题:即使某个智能体系统攒了不错的经验,这些经验能不能在别的框架、别的底层大模型上照样管用?
这其实是个很现实的顾虑。你辛辛苦苦训练出来的经验,如果换个厂家的模型立马失效,那这经验的含金量就要打个大大的问号。论文里提到的Agent-KB这类工作已经开始探索跨领域经验复用,但视觉证据这块基本是空白。
EpiCon想解决的,正是这么一个三重难题:记忆要能装下图片证据,记忆要能被不同的智能体系统共享和贡献,记忆本身还得能自己组织、自己去芜存菁,而不是越堆越乱变成一堆废纸。
记忆控制器:让文字和图片一起进化
EpiCon的第一个核心组件叫记忆控制器(Memory Controller,简称MC)。
它管的是"问题级别"的记忆,也就是针对某一道具体的题目,在多次尝试之间怎么迭代改进指导意见。
这里有个细节特别巧妙。传统做法里,如果一次尝试失败了,系统顶多是把"哪里错了"记下来,用文字复盘。但EpiCon的记忆控制器做的是联合更新:它会同时修改文字指导和视觉证据,让两者一起演化。
论文里举的例子很生动。假设你要问罗马地铁怎么从EUR Magliana站坐到Cinecittà站,第一次尝试系统直接说"坐A线到底",结果是错的。控制器这时候不光更新了文字("EUR Magliana其实在B线上"),还同步调整了截图区域,把地图下半部分圈出来给下一次尝试看。第二次还是错,控制器再改,这次聚焦到地图中间的换乘站。第三次终于对了。
这个过程中有个特别值得说道的设计,叫自适应视觉注入(Adaptive Visual Injection)。
控制器不是每次都把图片一股脑塞给智能体,而是会判断这次要不要给图。判断依据是当前问题和已有记忆的描述内容是否匹配。
这个设计的价值在哪?想象你是个刚接手项目的新员工,前任给你留了一沓交接文档,里面既有文字说明也有大量截图附件。如果每次你查资料,系统都把所有截图一股脑推给你,你会被信息淹没,看文档的时间比自己摸索还长。但如果系统压根不给你截图,只给文字,遇到那种"这个按钮具体长什么样"的问题你又抓瞎。自适应注入的意思是,系统会先判断你这次遇到的问题需不需要看图,需要才给,不需要就省下这份认知负担。论文的实验数据也印证了这一点:在Codex框架搭配Qwen3.8-27B的配置下,自适应注入相比"每次都给图",MAS的执行时间从2.89倍降到了2.16倍,token消耗更是从3.02倍降到2.40倍,而任务表现基本没受影响甚至更好。
如果不做这个自适应判断会怎样?论文的消融实验里专门测过"Always"(每次都注入)和"Adaptive"(自适应)两种设置的对比,在几乎所有场景下,自适应版本不仅省时间省token,分数还更高。这说明盲目堆砌视觉信息,对系统而言是种负担而非帮助。
树形自组织器:给经验建一座图书馆
如果说记忆控制器管的是单道题目内部的迭代,那第二个组件树形自组织器(Tree Self-Organizer,简称Tree)管的就是跨题目的经验整合。
这里有个概念需要先解释清楚。
经验银行(Experience Bank):一个独立于具体智能体系统之外的持久化存储空间,专门用来沉淀各种任务积累下来的教训、规则和视觉证据,可以被不同的智能体系统读取和贡献。
树形自组织器要做的事情,用图书馆管理员来打比方会比较好懂。一开始所有的"教训"都是零散的便签纸,堆在桌上。管理员的工作,是把这些便签纸归类上架,相似主题的放一起(Place操作),太笼统的大类要拆分成更细的小类(Split + Lift),重复的内容要合并(Merge),还要不时把几张相关便签背后的共同规律提炼成一条总结性的"馆藏索引卡"(Consolidate)。
论文里给了个特别形象的例子:系统先后处理过罗马、多伦多、里斯本、奥克兰四座城市的地铁换乘问题,每次都积累了一条具体的教训,比如"要认准标注的换乘站,不要认附近的路口"、"要匹配换乘站对应的线路组合"。树形自组织器把这四条分散的经验放在一起看,发现它们背后有个共同的解题逻辑,于是提炼出一条通用规则:先定位端点所在线路,再确认换乘站,缺环节就补充线路,最后串联验证。
等到系统遇到一张完全陌生的新加坡地铁图时,它调用的不是某一条具体城市的旧经验,而是这条被提炼出来的通用规则,直接就规划出了从Lakeside站到Sixth Avenue站的换乘路线,只用了一次尝试就答对了。
如果没有这道"提炼"的工序会怎样?
论文专门做了对照实验,比较"扁平记忆库"(Flat,经验堆在一起不做整理)和"树形记忆库"(Tree,做层级组织和整合)。结果相当悬殊:在ParseBench这个文档解析基准上,扁平记忆库只能拿到52.2分,树形记忆库能到67.3分,足足高出15分。这说明单纯攒经验是不够的,攒起来的经验如果不整理,效果跟没攒差不多,检索的时候大海捞针,反而添乱。
这就好比你手机相册存了一万张照片从来不建相册分类,等你真想找某张旧照片的时候,翻半天可能都找不到,这一万张照片的价值其实没有真正被你用起来。
两个2B小模型,扛起大模型的活
这里有个特别值得展开说的设计选择。
研究者没有用那种动辄几百亿参数的大模型来做记忆控制和树组织这两件事,而是用了两个各自独立训练的20亿参数(2B)小模型。
这个决定背后其实有个很朴素的考量:记忆管理这件事,需要频繁地被调用,如果每次都要动用一个跟主力智能体一样重的大模型去做,成本会飞速累积。
论文里的数据很说明问题:用2B小模型替换掉同等规模于主干大模型的记忆管理模块之后,记忆操作的耗时降低了67%到74%,总耗时(MAS执行加记忆操作)降低了25%到35%,而效果上只是略微下降0.9到3.6分,在四种主干配置下相比"完全没有记忆"这个基线仍然提升了1.7到4.9分。
这就好比一家餐厅,主厨(大模型)负责炒菜这件核心事,但如果连备菜、洗碗、记账这些辅助工作都让主厨亲自上手,那主厨的时间和精力全被耗在这些琐事上了。EpiCon的做法相当于专门雇了两个熟练的帮厨(2B小模型),一个管备菜(记忆控制),一个管库存记账(树组织),主厨(主干大模型)只需要专心做菜。帮厨确实做得没有主厨那么精细,但胜在够快够省,整体出餐效率反而更高。
这两个2B模型是怎么训练出来的?研究者用了个"教师模型"的思路,先用Qwen3.8-27B作为初始教师生成大量的记忆更新和树操作示范,再用Qwen3.8-Flash-Next这个更强的模型对不成功的示范做选择性修正。经过这套流程,最终筛选出约2.5万条记忆变换的监督样本,以及约6500条树操作的示范样本,训练数据来源覆盖了数学推理、文档理解、图表信息解读三大领域(用到了MathNet、MathV360K、ChartQA、InfoVQA、DocVQA、ChartNet等数据集)。
经验能不能跨系统流通,才是真正的考验
前面说的这些设计已经足够精巧,但整篇论文最有意思的部分,是研究者专门设计了一组实验,去检验经验跨系统流动到底能不能成立。
第一组实验测的是跨主干模型和跨框架的经验迁移。研究者拿Codex框架搭配Qwen3.8-27B构建出的经验银行,直接给两个"陌生人"用:一个是Codex框架但换成了Gemma4-31B主干模型,另一个是完全不同的DeepSeek-Harness框架配Qwen3.8-27B。结果显示,这个"外来"的经验银行确实管用,换主干模型的那组,综合得分提升了3.2分,换框架的那组提升了4.2分。具体看某个基准,MATH-Vision(视觉数学推理任务)从25.8分涨到33.0分,ParseBench(文档解析任务)从52.4分涨到65.7分。
这说明什么?说明这份经验银行不是针对某个特定模型量身定制的私房菜,换个厨子(主干模型)、换个厨房(框架)照样能吃。
第二组实验更进一步,测的是经验能不能"双向"流动,也就是A系统贡献的经验,能不能反过来帮到B系统,而B系统再进一步扩充这份经验,最后又反哺回A系统本身。
具体做法是这样的:Codex框架先用1000道题构建出一个"原始经验银行",然后DeepSeek-Harness框架拿这个原始银行去解决另外1000道不重叠的题目,同时往里面添加自己的新经验,形成"演化后的经验银行"。最后再让Codex框架去分别测试原始银行和演化后的银行,看看后者是不是真的比前者更好用。
结果是肯定的。Codex框架的综合得分从53.5涨到55.7,提升2.1分;反过来做(Codex去演化DeepSeek-Harness构建的银行),DeepSeek-Harness的综合得分从53.4涨到56.6,提升3.2分。
不过这里有个挺有意思的反常现象,值得多说两句。在ParseBench这个基准上,Codex框架原本表现更强(63.4分),可当DeepSeek-Harness演化了它的经验银行之后,Codex框架反而降到了58.9分。反过来,DeepSeek-Harness的ParseBench原本只有52.3分,被Codex演化过后飙升到65.9分。
这个现象其实很好理解,就好比两位厨师合写一本菜谱。原本比较擅长炒菜的厨师,如果让擅长炖汤的同行往菜谱里补充了大量炖汤的心得,这本合著菜谱对擅长炖汤那位来说价值巨大,但对原本擅长炒菜的那位来说,可能反而稀释了原本聚焦精准的炒菜经验,让他找起来更费劲。经验的跨系统流动不是万能药,它更像是互补,某个系统的强项经验拿给另一个系统用,往往效果显著,但反过来注入到已经很强的那一方,可能会带来一定的稀释效应。
这个细节其实提醒我们一件事:共享记忆这件事,价值不是均匀分布的,它取决于谁在给谁补短板。
单次尝试也能赢:冻结记忆库的威力
论文里还有一组实验特别打动人,就是"冻结经验银行"这个设定下的表现。
具体来说,评估的时候,经验银行是完全冻结不变的,被测试的智能体系统只被允许对每道题尝试一次,不能像做题反复订正那样多试几次。这个设定的用意是想干净地衡量:光靠"过去攒下来的经验",而不依赖"这次多试几次纠错",到底能带来多大提升。
结果在Table 1里体现得很清楚,四种主干配置下,效果最好的完整版EpiCon相比"完全没记忆"的基线,综合得分提升了1.9到5.9分(backbone-sized版本)。比如在Codex框架配Qwen3.8-27B的情况下,ParseBench从57.1分直接跳到68.5分,MATH-Vision从20.4分跳到48.6分,几乎翻了一倍还多。
这个结果的意义在于,它证明了共享记忆的价值不是靠"多次试错攒出来的运气",而是真正把过去积累下来的教训用在了刀刃上,第一次就能少走弯路。
强模型也吃这一套
研究者还测试了一个更贴近实际应用的场景:把EpiCon的记忆组件用在一个更强的API模型上,也就是Codex框架搭配GPT-5.6-Luna。
这里的关键是,2B的记忆模型和历史经验银行都是固定不动的,没有针对这个新目标模型做任何专门的重新训练。结果显示,在四个基准上全部有提升,其中ParseBench从63.8分提升到66.5分,MATH-Vision从51.2分提升到57.2分,涨幅相当可观。
这说明什么?说明这套记忆框架的价值不完全依赖于跟主干模型的深度绑定,它更像是一个可以插拔的外挂配件,换个更强的主引擎,配件本身依然能发挥作用。
核心实验数据速览
论文用了11个基准测试,覆盖文档理解、图表转代码、视觉数学推理、通用视觉语言推理四大方向,涉及DocVQA2026、MP-DocVQA、ParseBench、Vision2Code、Omni-I2C、ChartMimic、MATH-Vision、WeMath、WorldBench、ReasonMap、BabyVision共11个具体数据集,一共测试了4538道题目。
对比的基线方法包括没有记忆的系统、以及Mem0、Cognee、A-Mem、Agent-KB这几个已有的记忆系统。在四种"框架+主干模型"的组合下(Codex/DeepSeek-Harness分别搭配Qwen3.8-27B/Gemma4-31B),完整版EpiCon(backbone-sized)在所有配置中都拿到了最高的综合得分,比同配置下表现最好的外部记忆基线高出1.9到5.9分。而2B轻量版EpiCon相比完全没记忆的基线,提升幅度是1.7到4.9分,同时记忆操作耗时比同等规模的基线记忆模型少了67%到74%。
写在后面
读完这篇论文,最让我意外的地方,其实是那个跨框架经验演化实验里出现的"此消彼长"现象。
我们通常默认,经验共享这件事应该是纯粹的加法,你加进去的东西越多,系统应该越聪明。但ParseBench那个例子清楚地告诉我们,一个系统原本已经很擅长的任务,被另一个系统的经验"污染"之后反而变差了。这个细节比论文的主要结论更值得琢磨:共享记忆不是无脑的信息堆叠,它涉及到一种类似"专业分工"的动态平衡,谁该往哪个方向贡献经验,可能需要更精细的调控,而不是简单地把所有经验一股脑扔进一个池子里搅拌均匀。
另一个让我觉得有意思的地方,是研究者用2B小模型去分担记忆管理工作这个选择。这其实反映了一种正在成型的行业共识:并不是所有的AI任务都需要用最大最贵的模型去处理,有些"辅助性"但高频调用的工作,用专门训练的小模型反而更划算。这种思路某种程度上跟现在很多团队做"模型路由"(把不同难度的任务分配给不同大小的模型处理)的想法是相通的。
还有一个没有被这篇论文完全解决的问题,值得单独拎出来问一句:如果经验银行持续扩张下去,几年、几十万个任务之后,这棵"记忆树"会长成什么样子?树形自组织器现在做的整理工作,在小规模场景下看起来很优雅,但树越长越大,Place、Merge、Split这些操作的计算成本会不会反过来变成一个新瓶颈?论文里用的是1000道题构建经验库这种相对小的规模,真正的长期演化会不会带来意料之外的组织混乱,这是个值得继续追问的问题。
Q&A
Q1:EpiCon是什么?
A:EpiCon是MIT-IBM计算研究实验室等机构提出的一套共享多模态记忆框架,让不同的AI智能体系统能够共用一个不断积累和演化的经验银行,在不修改智能体本身模型参数的前提下实现经验复用。
Q2:EpiCon为什么要用两个2B小模型而不是大模型来管理记忆?
A:因为记忆管理是高频调用的辅助任务,用大模型成本太高。实验显示用2B小模型替代同规模大模型后,记忆操作耗时降低67%到74%,总耗时降低25%到35%,而效果只小幅下降,综合表现依然优于完全没有记忆的系统。
Q3:不同智能体系统之间的经验共享真的有效果吗?
A:有效果,但不是绝对的加法效应。实验显示跨框架、跨主干模型迁移经验普遍能带来3到4分的综合提升,但某些具体任务上,被其他系统"演化"过的经验库反而可能让原本擅长该任务的系统表现下降,说明经验共享存在互补与稀释并存的复杂效应。







