你有没有想过一个问题:如果一个AI助手在帮你做一件复杂的事情时,突然需要"清空一部分记忆"才能继续工作,它的脑子里到底发生了什么?
这不是科幻场景。今天的AI智能体(比如帮你写代码的Claude Code,或者帮你做深度调研的各种Agent系统)在处理特别复杂、特别耗时的任务时,经常会遇到一个很现实的问题:聊天记录太长了,装不下了。
这时候系统会做两件事中的一件。第一种叫"压缩上下文",就是把之前啰嗦的对话历史浓缩成一份精简摘要,然后带着这份摘要继续往下走,相当于另起一段新的"会话"。第二种叫"分身干活",主智能体把一部分任务外包给几个"子智能体",让它们各自去查资料、跑任务,完事了再把结果汇报回来,这也产生了新的"会话"。
问题来了。现在训练AI智能体变聪明的主流方法,叫做**强化学习**
强化学习:一种让AI通过不断尝试、根据结果好坏调整自己行为的训练方法,做对了奖励,做错了惩罚,类似训狗给零食。
这套训练方法,几乎都默认一个前提:整个任务从头到尾只在"一段连续的对话"里完成,不会中途被打断重启。可现实中的AI智能体早就不是这样工作的了。这就好比你在教一个学徒做菜,教学大纲写的是"从切菜到装盘必须一气呵成不能停",但学徒实际上炒菜炒到一半要先去冰箱拿配料,拿完回来接着炒,中间那个"去冰箱"的动作该怎么算进考核里?
这篇来自香港科技大学(广州)等机构研究团队的论文,就是来解决这个"考核标准跟不上实际操作"的问题的。
一个被忽视的真空地带
先说清楚这个问题到底有多麻烦。
研究者把AI智能体完成一个任务的全过程叫做一条**轨迹**
轨迹:AI智能体从接到任务到给出最终答案的完整执行过程,包含它所有的思考、工具调用和观察结果。
在传统设定里,一条轨迹就是一段话从头说到尾,中间不换气。但现在,一条轨迹可能被拆成好几个**会话**
会话:轨迹里的一个独立片段,比如一次完整的压缩操作算一个会话,一个子智能体干的活也算一个独立会话。
打个比方。你让一个实习生去调研一份报告,如果他从早坐到晚,笔记本摊在桌上没合过,这就是单会话。但如果他中午笔记本内存不够了,先把早上记的东西整理成一页摘要,关掉笔记本再开个新文档接着写,这时候就产生了"压缩会话"。又或者他觉得一个人忙不过来,喊了两个同事分头去查资料,查完汇总给他,那两个同事各自的工作也算独立会话。
现在的训练方法,面对这种"多会话"轨迹,最常见的处理办法简单粗暴,叫**广播**
广播:把整条轨迹最终是否成功的那一个总分,原封不动地复制贴给轨迹里的每一个会话、每一个字,不管这个会话具体表现如何。
这个办法的问题在哪?
如果你带了三个实习生一起做一个项目,最后项目成功了,公司给了一笔奖金,结果不管这三个人具体干了多少活、干得好不好,奖金直接平均分,一分不多一分不少。那些真正帮上大忙的会被打击积极性,而那些压根没帮上忙甚至拖后腿的也白拿一份。广播式的奖励分配就是这个逻辑:它不区分哪个会话是真正的功臣,也不管哪个会话其实在浪费资源,更没法告诉AI"你应该在什么时候多开几个会话,什么时候少开几个"。
如果不解决这个问题会怎样?AI智能体可能会学到一些很怪的毛病。比如明明三两下就能查到答案,它却要来回折腾好几轮才肯罢休,因为反正奖励是按整条轨迹发的,多开几个会话好像也不吃亏。又或者它学不会什么时候该压缩上下文、什么时候该分身干活,因为没有人告诉它"这一次压缩做得好"还是"做得烂"。
Mosaic的解法:把奖励拆成两层
研究团队提出的方法叫**Mosaic**
Mosaic:一种面向多会话场景的强化学习训练方法,不需要额外训练一个"评委模型"(critic),而是靠分层打分来解决广播机制的粗糙问题。
它的核心思路是把原本"一刀切"的奖励,拆成两个层次分别打分:先在整条轨迹这个大层面做一次校准,再在每个会话这个小层面做一次精细调整。
### 第一层:轨迹级别的"节俭度"校准
先说第一层。GRPO原本的打分逻辑很简单:一堆尝试里,哪个任务做成了,哪个任务没做成,相对好的给正分,相对差的给负分。
**GRPO:一种不需要额外训练价值网络的强化学习算法,靠同一批尝试里相互比较的相对好坏来估算每次尝试该得多少分。**
这个方法叫GRPO,全称是Group Relative Policy Optimization(分组相对策略优化)。它省去了单独训练一个"打分裁判"的麻烦,直接拿一组同任务的不同尝试互相比较得失,省钱又省事。
但GRPO原本只看"成没成",不看"用了几个会话"。Mosaic往里面加了一条新信号:会话数量。
它的逻辑是这样的。假设一堆尝试里,有的成功了有的失败了。研究者设定了三条规矩:
第一条,对于那些做成了的尝试,用的会话越少越好,因为会话越多意味着越绕远路,执行成本越高,所以应该给更高的分数奖励"少走弯路"。
第二条,对于那些没做成的尝试,情况反过来。会话用得太少反而可能说明探索不够、放弃得太早,尤其是遇到困难任务的时候;而愿意多开几个会话继续折腾的,哪怕最后没成功,也该比轻易放弃的拿到稍微好一点的分数,算是鼓励坚持。
第三条,也是最重要的一条:不管会话数量怎么比,任务本身成没成才是决定性的。一个没做成的任务,哪怕开了再多会话,也不能靠"会话多"这个理由反超一个做成了的任务。
这就好比公司考核两个项目组。A组三天就把活干完了,B组磨蹭了十天才干完,同样是干完了,A组理应得到更高评价,这是鼓励效率。但如果C组压根没把活干完,哪怕C组加班到凌晨两点、投入的会议和讨论远超A组和B组,考核规则也不会因为C组"更努力"就给它比A组和B组更高的分数,干完没干完才是硬杠杠。如果不设这条底线会怎样?AI很可能学会一个取巧的办法:故意多开几个无意义的会话假装自己很努力,骗取分数,而不去真正解决问题。
具体怎么实现的呢?研究者没有直接拿会话数量这个原始数字当奖励,因为长尾分布的存在(有些极端情况会话数特别多)会让这个数字的意义失真。他们改用一种叫"中心化排名"的办法,在同一批"都成功"或"都失败"的尝试里,按会话数排个名次,把名次转换成一个固定在负一到正一之间的信号,再用这个信号去轻微调节原本的奖励大小,调节幅度被严格限制住,保证不会反转原本"成败"这条底线。
### 第二层:会话级别的"边际贡献"打分
光有轨迹层面的粗调还不够,因为同一条轨迹里的所有会话,依然共享着同一个总分。这就好比前面提到的那个带三个实习生的项目经理,虽然现在懂得按项目整体效率打分了,但具体到每个实习生个人表现如何,依然是一笔糊涂账。
于是Mosaic引入了第二层:会话级别的"边际信息增益"。
**边际信息增益:衡量一个会话结束后,AI对正确答案的把握是增加了还是减少了,用来判断这个会话到底有没有帮上忙。**
这个想法说起来挺巧妙。研究者的做法是,在每个会话开始前和结束后,分别测一下当前的AI模型"如果现在就让它生成标准答案,它有多大把握"。这个把握值用模型给出正确答案的概率对数来衡量。如果一个会话做完之后,AI对正确答案的把握明显提升了,说明这个会话提供了有用的信息,增加了噪音或者引入了错误线索的会话,则会让把握值下降。
这就像你让学徒去市场买菜,买完回来问他"你现在知不知道怎么做这道菜了",如果他买菜路上顺便偷听到了邻居阿姨的秘方,回来后对做菜的把握明显提高了,这趟市场就没白去;但如果他光顾着和人聊天,买回来一堆不相关的材料,回来后你发现他反而更糊涂了,那这趟市场等于白跑甚至添乱。
更细致的是,研究者还注意到不同类型的会话"天生"产生的信息增益分布不一样。普通的搜索浏览型会话,靠查资料获取外部证据,信息增益的来源很直接。压缩型会话呢,它的增益取决于压缩过程中到底是把有用的信息留下来了,还是把噪音去掉了,这个判断标准天然就更难把握。分身干活型会话,既要看子智能体干得好不好,还要看结果交接得顺不顺畅。
如果拿一个统一标准去衡量这几种性质完全不同的会话,会出现系统性偏差:比如压缩型会话天生信息增益的平均值就偏低,如果全局统一打分,压缩型会话永远会被低估,被不公平地压低分数。Mosaic的解决办法是分类型做归一化,把同一类型的会话放在一起比较高低,而不是一股脑混在一起比。
最后,把这个会话级别的边际增益信号,和前面那个轨迹级别的节俭度分数加在一起,就形成了Mosaic最终给每个会话打的分。前者提供的是一个长期的、看最终结果的大方向信号,后者提供的是短期的、看局部贡献的细节信号,两者结合,才是完整的考核体系。
实验结果:更聪明还更省会话
研究团队在BrowseComp这个基准上做了测试。这是一个专门考验AI能不能在网上持续搜索、挖出藏得很深很绕的信息的高难度测试集,一共1266道题。他们用的底座模型是Qwen3.5-4B,一个40亿参数的开源模型。
结果很直接。在压缩上下文的场景下,用广播方法训练出来的模型准确率是35.31%,平均每条轨迹要用3.17个会话;而用Mosaic训练出来的模型,准确率提升到了38.86%,相对提升超过10%,但平均会话数反而降到了2.35个。
| 方法 | 压缩场景准确率 | 压缩场景会话数 | 分身场景准确率 | 分身场景会话数 |
|---|---|---|---|---|
| 原始模型 | 24.80 | 1.70 | 21.64 | 2.98 |
| 单会话GRPO训练 | 34.68 | 1.24 | 31.91 | 2.09 |
| 广播方法 | 35.31 | 3.17 | 31.44 | 4.43 |
| **Mosaic** | **38.86** | **2.35** | **32.46** | **3.77** |
这个数字组合挺有意思:准确率更高,但用的资源更少。换成人话就是,Mosaic训出来的AI,既更会办事,又没那么"啰嗦",不会动不动就多开几个没必要的会话。
研究团队还对比了另一种叫IGPO的方法,它也用了信息增益的思路,但是在"每一轮对话"这个更细的粒度上打分,而不是"每个会话"。结果Mosaic不仅准确率更高,计算信息增益所需要的时间成本也大幅降低,因为会话粒度比轮次粒度要粗,需要计算的次数自然少很多。
拆开看,每个部件都有用
研究者还做了消融实验,就是把Mosaic的两个组件(轨迹级节俭度校准、会话级边际贡献打分)分别单独拿掉,看少了哪个会掉多少分。
结果显示,这两个组件单独拿出来都有提升效果,合在一起在压缩场景里提升更明显,但在分身场景里只有小幅提升。研究者给出的解释是,压缩场景的会话结构是线性的,一个接一个顺着来,比较像一条直线;而分身场景里,主智能体派出去几个子智能体同时干活,这种结构更像一张有向无环图(可以理解成一张带箭头的网状图,而不是一条直线)。在这种网状结构里,一个会话的影响可能同时波及到后面好几个会话,它当下测出来的"即时边际贡献",和它对最终结果的"真实贡献"可能并不完全对得上。
比表面数字更有意思的发现
研究者没有止步于"准确率更高"这个表面结论,而是往深挖了一层,问了一个更根本的问题:当多会话优化真的有效的时候,AI的行为到底发生了什么变化?
他们从三个角度观察:会话数量在增加还是减少,会话质量有没有变好(有没有更多的会话真正产生了有用的进展),以及有限的会话资源有没有被更聪明地分配到真正重要的阶段。
结果很有启发性。单纯用广播方法训练,这三个指标都在涨,说明AI确实学会了"多开会话更容易成功"这件事,但这是一种比较粗放的进步。而用Mosaic训练后,会话数量没有继续往上涨,但会话质量和资源分配这两项指标反而进一步提升了。
这说明什么?说明真正有效的多会话优化,核心不在于"用了多少个会话",而在于"每个会话有没有真正产生价值"。
打个类比。两个学生准备考试,一个每天学十个小时,另一个每天学六个小时,但后者的六个小时是完全专注、没有分心、每一分钟都在真正吸收知识的,前者十个小时里可能有一半时间在走神发呆。如果只看"学习时长"这个表面数字,你会觉得第一个学生更努力,但真正决定考试分数的是"每小时的学习效率"而不是"学习总时长"。Mosaic做的事情,就是把AI的注意力从"要不要多开几个会话"转移到了"每个会话到底有没有真正解决问题"上面。
研究者进一步算了两个指标,一个叫"正向增益比例",衡量执行过的会话里有多大比例是真正带来了正向进展的;另一个叫"单会话平均增益",衡量平均每个会话带来的正向进展有多大。数据显示,基础模型的正向增益比例只有27%到37%左右,广播方法训练后提升到41%到48%左右,而Mosaic更进一步,提升到了51%到60%左右。
这事儿还没完:留给未来的几道题
论文最后花了不少篇幅讨论这个方向接下来可能要面对的几个挑战,坦率地说,这部分比方法本身更让人深思。
第一个问题是数据太少。多会话轨迹虽然在真实场景里经常出现,但适合公开训练的数据集目前还很稀缺,这限制了这个研究方向能做多大规模的实验,也限制了别人能不能复现你的结果。
第二个问题更有意思,叫做"跨会话的信息传递该怎么学"。你想,压缩上下文的本质是要把一堆啰嗦的历史记录浓缩成一份精炼摘要,既要保留有用信息,又不能啥都留着导致浓缩失败;分身干活的本质是要把任务讲清楚,交给子智能体,再把子智能体的成果正确地汇报回来。这三件事其实是同一类问题:在有限的篇幅里,到底该保留什么信息才能支撑后面的决策?论文提到有一个叫CompactionRL的相关工作已经在尝试同时优化任务执行和压缩摘要这两件事,但怎么把压缩、分身、汇总这三种信息传递方式统一到一个框架下训练,依然是个开放问题。而且反复多次的信息传递会不会导致误差累积、关键信息逐渐丢失,这事也值得深挖。
第三个问题是异步训练的麻烦。现实中训练大模型往往不是等每一条轨迹都跑完才开始训练下一批,而是边采样边训练的异步模式。多会话执行会让不同轨迹的长度和完成时间差异变得更大,这会加剧策略的"过时程度",也会让同一批里的样本比较变得更复杂。比如如果你优先处理那些跑得快的样本,很可能会无意中偏向那些会话数少的轨迹,而冷落那些处理困难任务、需要更多会话的轨迹,这会引入选择性偏差,影响最终学到的策略。
第四个问题,是怎么在那些你看不清内部构造的"黑箱"智能体框架里做这种训练。现实中很多商业化的AI智能体产品,它内部具体怎么管理上下文、什么时候触发压缩、什么时候分身,这些细节外部开发者未必完全清楚。论文提出,要系统性研究各种智能体框架里破坏上下文连续性的具体机制(比如悄悄丢掉一些推理过程或工具调用的记录),才能让这套多会话训练方法真正在更广泛的实际产品里落地。
写在后面
读完这篇论文,最触动我的其实不是Mosaic这个方法本身设计得多巧妙,而是它揭示出来的一个更普遍的现象:当一个系统的"运行方式"进化得比"训练方式"快的时候,中间会产生一道真空地带,而这道真空地带往往不容易被注意到,因为表面上系统似乎"还能用"。
广播方法不是不能用,论文的实验数据也证明它确实比完全不训练要好。但它好得不够彻底,因为它从一开始的设计假设就没跟上实际运行的复杂度。这让我联想到很多软件工程里类似的场景:一套考核KPI是在业务模式A下设计的,后来业务演变成了模式B,KPI却没跟着变,结果团队开始在旧标准下"优化"出一些看起来数字好看但其实没什么实际价值的行为。Mosaic本质上是在给多会话这种"新业务模式"重新设计一套更匹配的KPI。
还有一个细节我觉得值得单独说一说:Mosaic并没有彻底改变AI学到的行为模式,而是"强化"了广播方法训练出来的那个已经存在的趋势。也就是说,正确的优化方向其实一直都隐藏在那堆粗糙的训练信号里,只是没有被精细地放大和引导出来。这让我重新思考一个问题:很多时候我们缺的不是全新的思路,而是一套更精细的打分尺子,把本来就存在但很微弱的信号给放大出来。
Q&A
Q1:Mosaic是什么?
A:Mosaic是香港科技大学等机构研究团队提出的一种多会话强化学习训练方法,用于训练AI智能体在上下文压缩或子智能体分身等场景下更高效地完成任务,不需要额外训练评委模型。
Q2:Mosaic和传统的广播方法有什么区别?
A:广播方法把整条轨迹的总分原样复制给每个会话,不区分贡献大小;Mosaic分两层打分,先按会话数量校准整体奖励,再按每个会话的边际信息增益单独调整,能更精准地引导AI高效完成任务。
Q3:Mosaic训练出来的AI效果如何?
A:在BrowseComp测试集上,Mosaic训练的模型比广播方法准确率提升超过10%,同时平均使用的会话数量更少,说明AI变得既更聪明又更节省资源。







