Token导航 LogoToken导航

AI 资讯 · 科技行者

多智能体协作如何训练AI主动沟通与倾听

更新 2026-11-16科技行者正文 5768字阅读约 19分钟

你有没有玩过那种需要团队合作才能通关的密室逃脱?

每个人手里只有一部分线索,必须互相说出来才能拼出完整答案。可现实中总有那么一两个人,拿着关键线索却闷头不说,或者别人说了他也压根没往心里去,自己闷头瞎猜。结果整个团队卡在原地,眼睁睁看着时间耗尽。

这事放在人类团队里尴尬,放在AI团队里更麻烦。现在越来越多的任务开始让多个大语言模型组队干活,一个负责查资料,一个负责算数,一个负责写方案。听起来很美好,但真实情况是,这些AI队友经常表现得比人类还让人头疼。

**一个团队里每个AI分别掌握了解题所需的全部信息,但team整体表现可能还不如把所有信息塞给单独一个AI。**

这是一篇来自亚利桑那州立大学、休斯顿大学、俄亥俄州立大学等机构联合研究团队发表的论文里提到的真实现象。研究者们还观察到更具体的失败场景:AI队友会藏着掖着不分享有用发现,会在没弄清楚问题的情况下就贸然行动,会对队友发来的信息视而不见。更离谱的是,有些AI明明一开始答对了,结果看到其他队友意见不一致,反而放弃正确答案跟风站队,活脱脱的"从众效应"翻版。

问题出在哪?不是AI不够聪明,而是没人教过它们怎么当一个合格的团队成员。

**这篇论文要解决的核心问题是:怎么训练AI主动分享有价值的信息、主动问出缺失的关键问题、并且真正把队友给的信息用起来?**

这事说起来容易,做起来极难。

训练难题:怎么给"说得好不好"打分

你可能会想,这还不简单?让AI团队去完成任务,任务做对了就奖励,做错了就惩罚,用强化学习训练不就行了?

这种思路有个名字,叫结果导向的训练方式。

但这里有个致命问题:最终任务做对了,不代表每句话都说得好;最终任务做错了,也不代表每句话都说得差。

举个例子。假设团队五个人里只有一个人说了句废话,其他四个人表现都很棒,最后任务成功了,那句废话跟着也"蹭"到了正面反馈,AI学到的是这句废话也是好的。反过来,如果团队里有人分享了一条极其关键的信息,但队友没理解到位,最终任务失败了,那条宝贵的信息分享反而被打上了负面标签。

这就好比公司年终考核只看业绩数字,不管过程里谁真正出了力、谁在摸鱼。干活认真的人可能因为团队整体业绩不佳被连坐扣分,划水的人反而因为搭上了顺风车拿到好评。如果不想办法把"每个人具体做了什么"从"团队最终结果"里剥离出来单独评价,激励机制就会彻底跑偏,越训练越学不会真正有用的协作行为。

这正是研究者们面临的核心难题:怎么设计一套能精确评估"这句话到底有没有帮助"的奖励机制,而不是笼统地按最终结果打分。

CoSIR登场:用"惊讶程度"衡量信息价值

研究团队给出的方案叫CoSIR,全称是基于惊讶度的信息奖励协作训练法。

**信息论里有个概念叫惊讶度(surprisal),指的是你对某个结果感到意外的程度。如果你对一件事的发生概率估计得很低,结果它真发生了,你的"惊讶度"就很高;反过来,如果你早就猜到了,惊讶度就低。**

CoSIR的核心想法是:既然要评估一条信息有没有价值,那就看这条信息能不能降低团队对正确答案的"惊讶程度"。信息越有用,团队在获得这条信息后对正确答案就越不意外,惊讶度下降得越多,这条信息的奖励分就越高。

听起来有点抽象,我们换个场景说。

想象你在玩一个"谁是卧底"式的猜谜游戏,四个人各自拿到一张提示卡,需要合力猜出谜底是四个选项中的哪一个。一开始大家手里信息零散,每个人对正确答案的把握可能只有25%,跟瞎蒙差不多。这时候如果有人说出一条关键线索,让大家对正确答案的信心从25%一下跳到了50%,这条线索的价值就非常明确,因为它实实在在地降低了大家的"不确定性"。

**要是没有这套量化机制会怎样?**

AI可能会学会说一堆正确但毫无用处的废话,比如重复大家都已经知道的信息,或者说一些听起来相关但实际上不改变任何判断的内容。因为没有精细的度量,训练系统根本分不清哪句话是真正推动了团队认知,哪句话只是在凑字数。

为了让这套评估机制能真正运转起来,研究团队搭建了一个简化但保留了核心协作难题的训练场景:一张打分表格任务。

想象一个采购决策场景,四个选项(比如A、B、C、D四款产品),每个选项在价格、质量、速度、保修、服务五个维度上各有一个评分,团队要选出总分最高的那个。表格的完整内容没有任何一个AI能看全,每个人只拿到其中一部分格子的信息,有些格子是大家都知道的共享信息,有些则是只有某一个人单独掌握的私有信息。

这个设计的巧妙之处在于,信息被打散分配,这样一来,AI要想选对答案,就必须主动把自己手里的碎片信息说出来,同时也得主动去问队友要自己没有的那部分。研究者们可以精确知道每一个表格格子里到底写的是什么,谁知道谁不知道,谁说了什么,谁又问了什么,整个信息流动过程完全透明可追踪,这就为精确打分创造了条件。

研究团队把这种做法叫做贝叶斯评估器,它会根据每个AI当前掌握的信息,计算出"正确选项是最佳选择"这件事的概率。整个团队的惊讶度,就是把每个成员对正确答案的惊讶程度加总起来。

一条分享出来的信息如果能让团队整体的惊讶度下降,就说明这条信息有价值,分享者就能拿到正向奖励;要是这条信息大家早就知道了,说了也白说,自然拿不到额外奖励。

论文里配了一张具体的示例图,三个AI agent组成的团队,分享消息前团队总惊讶度是5.97比特,收到一条关于某选项保修评分的回复后,惊讶度降到了4.06比特,整整降了1.91比特。这个数字差就是这条消息被给予的奖励强度,换算过来大致相当于把"正确答案的概率"提高了一倍多。

除了"说",CoSIR还单独设计了对"问"的奖励。毕竟提问本身不会立刻带来新信息,但一个好的提问能引导队友说出关键内容。系统会假设被提问的人诚实作答,然后计算这个假想回答能带来多少惊讶度下降,以此作为提问价值的衡量标准。

这套设计还考虑到了一个很现实的作弊漏洞:AI完全可能瞎编一个凑巧能降低惊讶度的假数据。为了堵住这个漏洞,研究者要求每一条分享的信息必须能对应到说话者自己原始掌握的信息,或者是从队友那里真实收到的报告,编造的内容不仅拿不到奖励,还要被额外扣分。

这就像公司里绩效考核不能光看你汇报了多少"成果",还得核实这些成果是不是真实做出来的,杜撰业绩必须要有惩罚机制,否则整个激励系统就会被钻空子。

光会分享信息还不够,CoSIR还单独评估AI有没有真正"用上"收到的信息。

它检查两件事:一是最终选的答案对不对,用的是贝叶斯评估器算出的"这个选项是最佳答案"的概率;二是AI自己算的总分对不对,有没有把拿到手的评分数字正确累加起来。打个比方,如果一个AI本来不知道某选项的保修评分,队友告诉它是+1分之后,它接下来算总分时就应该把这一分加进去,如果没加,说明它压根没把收到的信息用起来,这部分就要扣分。

这解决了一个很关键的协作漏洞:有些AI团队成员看起来很配合,队友说什么它都"嗯嗯好的",但实际上听完就忘,自己做决策时该怎么算还是怎么算,完全没把队友的输入纳入考虑。这种"假装倾听"的行为如果不单独惩罚,光靠最终结果反馈根本发现不了。

从训练场到真实世界:七个陌生考场的检验

训练归训练,真正的考验是迁移能力。毕竟打分表格任务是个高度简化的人工环境,真实世界里团队协作的场景五花八门,自然语言、复杂推理、多步骤任务,什么都有。

**一个模型如果只在特定的"套路题"上练得滚瓜烂熟,换个场景就露馅,这种现象在机器学习里很常见,专业说法叫过拟合,也就是模型学到的是针对训练场景的"投机取巧",而不是真正通用的能力。**

CoSIR团队为了验证自己的方法不是花架子,特意选了七个完全没在训练阶段出现过的陌生任务进行测试,覆盖了分布式信息决策、复杂数学推理、面对同伴压力时能不能坚持己见等多个维度。他们还特意把测试场景设计得比训练场景复杂得多,有的要求自由作答而不是选择题,有的掺杂了误导性的同伴意见干扰。

研究团队选用了三个不同的基础模型做实验,分别是Qwen3-4B、Qwen3-8B和Gemma-3-4B-it,三个模型规模不同、架构背景也不完全一样。

结果显示,CoSIR训练出来的模型在全部七项陌生任务上,相比训练前的起点版本全线提升,没有一项任务是退步的。拿Qwen3-8B来说,七项任务总分从352.60分涨到了384.44分,提升了31.85分;Qwen3-4B从333.17涨到357.87,提升24.70分;Gemma-3-4B-it从208.02涨到235.94,提升27.92分。

这个结果有意思的地方在于,论文还对比了另一种训练方式,叫Outcome-RL,用的是同样的自我博弈训练框架,但奖励信号换成了只看最终任务结果,不做精细的信息价值拆解。结果Outcome-RL虽然也比训练前有进步,但进步幅度明显不如CoSIR,三个模型上CoSIR比Outcome-RL分别多拿了20.72分、22.95分、24.86分。

这个对比直接印证了前面那个核心判断:精细化的过程奖励确实比笼统的结果奖励更有效,就像教练盯着运动员每一个动作细节纠正,比只在比赛结束后告诉他"你输了"要管用得多。

论文里还专门构建了一个叫SplitQA的新测试集,用来检验AI能不能把分散在不同文档里的事实信息拼接起来,生成一个开放式的自由回答,而不是简单地从几个选项里选一个。这个设计的用意很明确:训练阶段的任务本质上是"选择题",研究者想看看训练出来的协作本能,能不能迁移到"问答题"这种更开放、更贴近真实场景的任务形式上。

结果显示,三个模型在SplitQA上都有提升,尤其是Gemma-3-4B-it提升了8.21个百分点,说明学到的协作行为确实不是针对选择题这种特定形式的投机取巧,而是具备了一定的泛化能力。

行为变了没有:从"闷葫芦"到"爱交流"

光看分数还不够直观,研究者们还深入观察了训练前后AI队友的具体行为变化,这部分内容读起来格外有画面感。

在一个仓库选址的决策任务里,团队要从四个候选仓库中选出最适合的一个用于灾后物资周转。表面共享的信息让"中央仓库"看起来很有吸引力,因为它靠近高速公路、装卸设施也新。但每个AI手里还各自掌握着一条关键的私有信息:有人知道另一个仓库屋顶塌了一半,有人知道中央仓库地基因为洪水存在风险,还有人知道中央仓库的备用发电机已经彻底损坏,另有人知道某个仓库是唯一配备了满员工作人员的地方。正确答案其实是看起来并不起眼的"山顶仓库"。

训练之前,负责发言的AI从头到尾都在力推"中央仓库",另外两个掌握关键负面信息的AI队友全程沉默,没有把自己知道的坏消息说出来,最终团队选错了答案,跑去了另一个有屋顶问题的仓库。

训练之后,同样的场景里,两个原本沉默的AI在第一轮发言里就主动爆出了各自掌握的关键信息,负责决策的AI在第二轮里吸收了这些信息,到第五轮时已经把推荐改成了正确答案"山顶仓库",最终全队达成一致,选对了。

这个变化不是偶然,论文用更系统的方式量化了这种转变。拿HiddenBench这个任务来说,Qwen3-8B模型在训练前只有68.5%的私有事实会被主动说出来,训练后这个比例涨到了74.3%;更值得关注的是,信息披露发生的时机也提前了,训练前只有61.1%的关键信息会在第一轮发言里就说出来,训练后这个比例涨到了69.0%。

这个提前量很重要。

**团队协作中信息说得早不早,直接决定了后面的人有没有时间消化利用。**

这就好比开会讨论方案,如果你把关键反对意见留到会议快结束时才提,哪怕说得再对,大家也来不及调整方案了,这条意见实际上的作用大打折扣。CoSIR训练出来的模型不仅更愿意说,还学会了更早说,这对团队协作效率的提升是实打实的。

研究团队还专门用了一套叫MAST的失败模式分类框架,这是一套系统梳理AI多智能体协作失败类型的标准,涵盖了诸如"不顾队友意见自说自话""该核实的时候没核实""该问清楚的时候没问清楚"等十四种具体失败类型,对训练前后的对话样本做了细致标注。

结果显示,团队协调类的失败率从67.8%降到了62.0%,核实与收尾环节的失败率从58.8%降到了53.5%。具体拆开来看,"忽视队友输入"这一项从26.3%降到22.8%,"没问清楚就贸然推进"从36.4%降到32.0%,"验证不充分"从51.3%降到45.9%。

不过这里有个诚实的地方值得说一下:论文也坦承,不是所有失败类型都改善了,比如"重复无意义的步骤"这一项几乎没有变化,还从85.1%微涨到了85.6%,"信息被藏着掖着不说"这一项也基本没动,从18.5%到18.7%。

这说明CoSIR这套训练方法的作用边界是清晰的,它确实提升了AI使用和处理信息的能力,但并没有神奇地解决所有协作问题,训练出来的能力是有针对性的,不是万能药。

研究团队还有个细节处理得很谨慎:训练这套协作能力,会不会反过来损害模型本身的通用能力,比如数学、常识、指令遵循这些基础功力?他们专门在GSM8K数学测试集、MMLU常识测试集、IFEval指令遵循测试集上做了对比,结果显示训练前后的分数变化都在正负0.8个百分点以内,基本可以认为通用能力没有受到明显损伤。

这个结果其实挺重要的,因为很多针对特定能力做的强化训练,容易出现"学了新本事忘了老本行"的副作用,CoSIR能在不牺牲基础能力的前提下专门提升协作表现,说明它的训练设计是相对克制和精准的,没有用力过猛破坏模型原有的能力结构。

Q&A

Q1:CoSIR是什么?

A:CoSIR是一种训练大语言模型多智能体协作能力的方法,核心是用"团队惊讶度下降量"来精确评估每条共享信息和每次提问的价值,而不是只看最终任务结果来打分。

Q2:CoSIR和传统基于结果的强化学习训练方式有什么区别?

A:传统方法只根据团队最终任务做对做错来给整个对话打分,CoSIR则能精确拆分出每一句话、每一次提问、每一次信息使用的具体价值,奖励信号更精细,训练效果也更好。

Q3:CoSIR训练出来的AI团队协作能力能不能用在训练之外的新任务上?

A:可以,研究者在七个完全陌生的任务上做了测试,三个不同的基础模型经过CoSIR训练后在所有任务上都比训练前表现更好,说明学到的协作行为具备一定的泛化能力,而不是只会做训练时见过的题目。

文章标签AI资讯

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。