你有没有想过一个问题:一个刚入职的新人,为什么比老员工更容易出错?
不是因为他笨,是因为他不知道这家公司的坑在哪里。哪个客户脾气暴躁得先顺着说,哪份报表交上去总被打回来重做,哪个系统按钮点错了会导致数据丢失。这些东西没有人会写进员工手册,都是老员工踩过坑之后才明白的。
AI智能体现在面临的也是同样的处境。
一个LLM智能体*被扔进一个新环境里,比如要操作某个APP、处理某种业务流程,它往往两眼一抹黑。LLM智能体:基于大语言模型构建的自动化程序,能够理解指令、调用工具、执行多步骤任务。
它不知道这个工具的参数要怎么填才对,不知道哪个接口名字和文档写的不一样,也不知道某个操作其实有隐藏的前置条件。于是它会一遍又一遍地撞到同一堵墙上,每次执行任务都像是第一次见这个世界。
这就是来自Illuin Technology的研究团队在论文里提出的核心痛点。他们给出的解法有一个很浪漫的名字,叫DAEDALUS,代达罗斯,希腊神话里那位造出迷宫又亲手为自己设计翅膀逃出迷宫的建筑师。这个名字本身就是隐喻:一个系统要学会给自己的迷宫画地图,然后自己飞出去。
这篇论文已经挂在arXiv上,题目直译过来是"代达罗斯:从自我生成的任务中引导智能体记忆"。读完之后我最大的感受是,这不是又一个"让AI记笔记"的小修小补,而是重新想了一遍记忆到底应该怎么被验证这件事。
没有练习题的新手,要怎么变老手
先说清楚这件事到底难在哪。
现在业界常见的做法有两种。第一种是靠人类专家写好一套操作指南,手把手教AI这个环境该怎么用。第二种是给AI准备一批"训练任务",让它先在这些任务上反复试错,再配一个"标准答案判官"(oracle verifier,一种能够自动判断任务是否成功完成的裁判机制)去打分,答对了的经验就留下来,形成一本"经验手册"。
问题是,这两种做法都要求你提前知道这个环境长什么样。
你得有人写指南,或者有一堆标好答案的训练题。可现实里大量的智能体环境是自动生成出来的,压根没有人工标注过的训练集,也没有谁给你一个现成的判分器。这种情况下,上面两种办法都用不了。
那怎么办?
一个自然的想法是:让智能体自己在真实任务来的时候慢慢攒经验。但这意味着它处理的第一批任务,是完全没有记忆加持的,只能在摔了跟头之后才开始变聪明。换句话说,经验的积累永远跟在任务失败后面,用户体验从第一天就是打折的。
DAEDALUS想解决的就是这个起点问题:在没有任何训练任务、没有任何裁判的前提下,能不能让AI自己给自己出题、自己做题、自己从错误里提炼出"下次别这样"的经验,然后把这些经验打包成一本可靠的备忘录?
两个AI互相较劲,才练出真功夫
DAEDALUS的核心设计是一组"对练"系统,里面有两个关键角色。
一个叫探索者(Explorer),它的工作是在环境里东摸摸西看看,然后设计出一个"有难度但能做到"的任务,并给出判断这个任务算不算做成了的具体标准。另一个叫求解者(Solver),它负责真刀真枪去尝试完成探索者出的这道题。
这里最精妙的一步,是求解者失败之后发生的事。
当求解者搞砸了一次尝试,系统会有一个叫提取器(Extractor)的角色,去复盘这次失败的全过程,写出一条启发式经验*(heuristic,一种从具体经验中提炼出的、可以指导后续类似情境下行为的通用建议或规则)。
这条经验不是直接就被收进备忘录的。它要被重新塞回求解者的"口袋"里,让求解者带着这条经验再试一次同样的任务。如果还是失败,经验会被继续修改。只有当求解者带着这条经验连续成功三次,这条经验才算"通过考验",正式被收进记忆库。
这个设计背后藏着一个很狠的判断标准:光是失败后写下一条经验,不代表这条经验真的有用。它必须经得起反复验证。
打个比方,这就像你教一个新司机倒车入库,第一次他撞了锥桶,你告诉他"方向盘要晚打一点"。但你不会这时候就在驾校的教材里写上这句话,对吧?你会让他照着这个建议再试一次,如果他又撞了,说明这条建议本身有问题,得重新琢磨。只有当他照着这个建议连续成功三次,你才敢说这个建议是真的管用,值得写进教材教给下一个学员。如果没有这个反复验证的环节,教材里很快就会塞满一堆听起来有道理、实际上根本不work的"经验",新学员照着做反而会学得更差。
论文里专门做了一个很扎实的对照实验来证明这一点。研究者把"只靠探索,不做失败到成功的验证"这一步单独拿出来测试,结果显示,光靠探索攒出来的记忆,反而会让智能体表现得比完全没有记忆还差。而一旦加上"求解者必须连续成功三次才能确认经验"这道关卡,成功率立刻跳升了4.5个百分点。这说明验证这一步不是锦上添花,是整套系统能不能打的命门。
任务难度不是拍脑袋定的,是打出来的
光有"探索者出题、求解者做题、提取器总结"这条链路还不够,因为题目的难度直接决定了这套系统学不学得到东西。
你想,如果探索者出的题太简单,求解者一次就做对了,那根本没有失败可供复盘,提取器无事可做,这次探索就白费了。反过来,如果题目太难,求解者怎么都做不出来,那也提炼不出有价值的经验,甚至可能把一些错误的猜测当成"经验"存下来。
于是DAEDALUS设计了一套难度校准机制。
每次求解循环结束之后,会出现三种结果之一:如果求解者一次都没失败就通过了,这个任务被判定为"太简单";如果求解者连续失败达到设定的上限(论文里设为8次)还没成功,判定为"太难";只有在求解者失败过至少一次、又成功挽回局面的情况下,才算是"难度刚好",可以产出一条被接受的经验。
一旦任务被判定为太简单或太难,探索者会拿到这个反馈,回头去调整这道题,让它变得更难或更容易,最多可以调整五次。如果调了五次还是找不准那个"跳一跳够得着"的难度区间,这次探索就直接放弃,不产出任何经验。
这其实和体育训练里的"渐进超负荷"是一个道理。健身教练不会让你第一天就挑战极限重量,那样你练不出肌肉,只会受伤;但也不会让你永远举那副轻到毫不费力的哑铃,那样你永远不会进步。真正有效的训练,是让你举一个稍微超出你当前能力、让你咬咬牙能完成的重量,这样你的肌肉才会在"刚刚好"的压力下被撕裂重建、变得更强。如果没有这套难度动态调整的机制,探索者要么一直出送分题,要么一直出送命题,系统最终积累下来的要么是废话,要么就是空的。
论文里还提到一个很聪明的辅助设计:在正式开始大批量探索之前,系统会先派一个叫勘察员(Surveyor)的角色,把整个环境通读一遍,摸清楚这个环境里大概分成哪些功能区块,各自该占多大比重,形成一份"覆盖率地图"。探索者后续出题时就会参考这份地图,尽量把题目出得分散一点,别老盯着同一个功能角落反复出题。
另外,每次任务难度没校准好,系统也不会把这次教训扔掉,而是把"为什么这次任务定难了/定简单了"这些反思沉淀成一批"任务设计经验",供后面的探索环节参考。这两个辅助设计合起来,让整套生成流程的探索次数减少了,把成本砍掉了将近一半,而最终记忆的质量几乎没掉。
这套系统到底好不好用,数据说了算
说了这么多设计思路,终究要看实际效果。
研究团队在三个风格迥异的测试场上做了验证:AppWorld(模拟手机APP操作的代码型任务环境)、τ?-bench(模拟客服对话场景)、AutomationBench(模拟企业SaaS软件的业务流程自动化)。
对照组里既有什么记忆都没有的"裸奔版"智能体,也有六种已有的记忆构建方法,其中五种都依赖人工标注好的训练任务,只有一种叫PREPING的方法和DAEDALUS一样,也是从智能体自我生成的任务里提炼记忆。
结果是这样的:在AppWorld上,DAEDALUS把平均任务成功率拉高了15.9个百分点;在τ?-bench上提高了10.0个百分点;在AutomationBench上提高了4.3个百分点。还有一个很关键的指标叫pass^5*(pass^5,指同一个任务尝试五次,只要有一次成功就算过关的通过率,衡量的是智能体多次尝试下的稳定性和一致性),DAEDALUS让这个指标提升了1.7倍到2.2倍。
更值得玩味的是和PREPING的对比。两者都没用训练任务,站在同一条起跑线上,但DAEDALUS在所有指标上都稳稳压过PREPING。这背后的差别其实就是前面说的那套"失败后反复验证才能入库"的机制,PREPING更偏重任务本身是否可行、是否完成度高,而不是经验本身是否真的管用。
甚至和那些用了训练数据、还配了标准答案裁判的"VIP选手"相比,DAEDALUS也不落下风。在六项核心对比里,DAEDALUS有四项都能和表现最好的方法打平手,差距在统计误差范围之内。这说明"没有训练数据"这个先天劣势,被DAEDALUS的验证机制相当程度上弥补回来了。
换个大脑用这本笔记,照样好使
这里有个挺有意思的发现:这本靠GPT家族某个模型生成的"记忆笔记本",拿给Qwen家族或者DeepSeek家族的模型去用,照样管用。
研究团队专门做了交叉实验,用GPT的大模型当探索者和小模型当求解者生成一套记忆,再分别拿给GPT的小模型、Qwen的小模型、DeepSeek的小模型去用。结果九种组合全部都带来了正向提升。拿GPT-5.4-mini举例,用自己家族生成的记忆能提升15.9个百分点,用Qwen家族生成的记忆反而提升了16.8个百分点,比自家的还猛一点点。
这说明DAEDALUS提炼出来的经验,不是针对某个模型量身定做的"小抄",而是更接近于一种通用的"环境使用说明书"。就像一本写得好的说明书,不管是老司机还是新手拿着看,都能从中获益,因为它讲的是这个工具本身的脾气秉性,不是某个特定人的操作习惯。
论文附带的第一张图也很直观地展示了这一点:涵盖了gpt-5.4-nano、deepseek-v4-flash、minimax-m2.7、qwen3.6-35b-a3b等一系列不同家族的模型,每一个都在用上DAEDALUS的记忆之后,成功率上升的同时,完成任务所需的对话轮数反而变少了。这意味着记忆不仅让AI做得更准,还让它做得更快。
记忆到底该一股脑塞进去,还是边用边查
生成记忆只是故事的一半,另一半是怎么用。
一个很自然的疑问是:如果记忆积累得多了,是不是应该像搜索引擎一样,每次只调取和当前这一步最相关的几条,而不是把整本笔记一股脑都甩给AI?
研究团队测试了好几种方案,包括用传统关键词匹配技术BM25*(BM25,一种经典的信息检索算法,根据查询词在文档中的出现频率等统计特征来判断相关性)去每轮检索出五条最相关的经验、用语义向量模型Qwen3-Embedding去做更精细的语义检索、甚至随机抽五条做对照组。
结果有点出乎意料:这三种"按需检索"的方案彼此之间差别不大,都比完全没有记忆要好,但都明显比不过一种更简单粗暴的做法,就是把整本经验手册先去重、合并整理好,在任务一开始就一次性全部塞进AI的上下文里,之后全程不再调整。
这个结果背后的原因,研究者给出了一个很有意思的解释:真正有用的经验,未必和你此刻正在做的那一步,在字面上长得很像。
举个例子,你正在纠结某个按钮该不该点,这时候真正救你的那条经验可能讲的是"某个API的返回值其实有隐藏字段",表面上看起来和按钮毫无关系。但如果检索系统只会按关键词或语义相似度去匹配,它压根想不起来给你推送这条经验,因为这条经验的措辞里根本没出现"按钮"这个词。
这就好比你去图书馆查资料写论文,你以为自己需要的是"心理学"分类下的书,结果真正能帮你把论文写透的灵感,其实藏在"建筑学"分类的一本讲空间感知的书里。如果图书管理员只会按你报的关键词去找书,那本真正该给你的书永远不会被推荐出来。这种"你真正需要的信息,和你表达出来的需求在字面上并不匹配"的现象,论文里专门引用了一个术语叫oblique retrieval*(oblique retrieval,直译为"倾斜检索",指需要被检索的信息和检索查询之间的相关性是隐含的、不直接体现在字面相似度上的检索场景),说的就是这个道理。
论文里还做了个很细致的消融实验,把每轮检索的条数从0一路加到30条,发现随着检索条数增多,效果确实在稳步爬升,但一直到检索出30条、也就是接近整本笔记一半的量的时候,表现才勉强逼近"一次性全塞进去"的水平。换句话说,在这个记忆库体量不算太大的阶段,与其费心思做精细检索,不如干脆利落地全部展示,更省事也更有效。
当然研究团队也坦诚地说,这个结论只在记忆库规模不算太大的情况下成立。如果以后记忆库规模膨胀到几千条经验,检索这件事恐怕就绕不开了,只是需要更聪明的、能处理这种"字面不相关但语义上关键"的检索技术。
自己出的题,能当真正的考卷用吗
论文里还有一个让我觉得挺有价值的意外发现。
既然环境是全新的、没有现成的测试集,那怎么公平地比较不同AI模型在这个环境里谁更强?研究团队想出了一个巧妙的验证思路:既然DAEDALUS能自己生成一批高质量的任务,这批任务是不是也可以反过来当作一套"模拟考卷",用来给不同的AI模型打分排名?
他们挑了九个不同的模型,不给任何记忆加持,分别在DAEDALUS自己生成的81道题和AppWorld官方的测试集上各跑三轮。结果两边排出来的名次,用统计学里的肯德尔相关系数(Kendall's τ,一种衡量两组排名一致程度的统计指标)去衡量,达到了0.89,这是一个相当高的一致性数值,36组两两比较里有34组的排名顺序完全一致。
这意味着,虽然DAEDALUS生成的题目具体的通过率数值和官方测试集不完全一样(因为这批题目当初是按某个特定小模型的能力水平校准难度的),但是不同模型之间谁比谁强这个相对顺序,几乎和官方权威测试集给出的结论一致。
这有点像一场非官方的小区篮球赛,虽然规则和场地跟职业联赛不完全一样,但谁打得好谁打得差,排出来的名次和职业联赛的排名基本吻合。这暗示着,在那些压根没有官方测试集的全新环境里,DAEDALUS生成的任务或许可以充当一个临时但可靠的评测基准,这对于那些还没有被充分标注过的新兴智能体环境来说,是个挺实用的副产品。
这套方法也不是万能的
论文的作者们在文章末尾也很坦率地承认了一些局限。
比如他们发现,在AppWorld这个环境里,随着探索会话数量从5次、10次、一路增加到90次,记忆的质量和效果是在稳步上升的,但过了90次这个节点之后继续加练,效果反而开始下滑。这说明记忆库不是越大越好,攒得太多反而可能因为经验之间互相冲突、或者合并整理时丢失了某些经验原本适用的精确场景,导致整体效果打折扣。
论文还提到,整套DAEDALUS系统是在部署之前就把记忆一次性生产完毕、之后就冻结不再更新的,而判断任务是否成功的裁判(Judge)本身也是一个LLM,不是绝对精确的,虽然经过验证它和官方标准答案的一致性达到了相当不错的水平(在AppWorld上的一致性指标κ达到0.807),但终究不是百分之百可靠。
研究团队也明确表示,让记忆在部署之后持续更新、以及设计更可靠的多重裁判验证机制,是接下来值得继续推进的方向。
Q&A
Q1:DAEDALUS是什么?
A:DAEDALUS是Illuin Technology团队提出的一种让AI智能体自主构建记忆的方法,它不需要人工标注的训练任务,也不需要标准答案裁判,而是让探索者和求解者两个AI角色互相配合,在环境里自我生成任务、自我验证经验,最终形成一本可复用的经验手册。
Q2:DAEDALUS生成的记忆笔记只能自己用吗,换个模型还管用吗?
A:不是。论文的交叉实验显示,用GPT模型生成的记忆笔记,拿给Qwen、DeepSeek等不同家族的模型使用,依然能带来明显的成功率提升,九组交叉测试全部正向有效,说明这套经验更像通用的环境说明书,而不是针对某个模型定制的小抄。
Q3:DAEDALUS相比完全没有记忆的AI,效果提升有多大?
A:在AppWorld环境里平均任务成功率提升了15.9个百分点,在τ?-bench客服场景提升了10.0个百分点,在AutomationBench业务流程自动化场景提升了4.3个百分点,同时多次尝试下的稳定性指标pass^5提升了1.7到2.2倍。







