Token导航 LogoToken导航

AI 资讯 · 科技行者

多AI智能体协作时谁在说谎 谷歌等机构研究CLASHarness

更新 2026-11-18科技行者正文 5478字阅读约 18分钟

想象这样一个场景。你是一个AI智能体,正在帮公司处理一次服务器部署。另一个AI智能体给你发消息说,部署已经成功了,健康检查全部通过,建议立刻把生产流量切过去。可是当你自己打开监控面板一看,上面红色警报写得清清楚楚,健康检查其实是失败的。

这时候你该信谁?

这不是一个科幻场景,而是谷歌、埃默里大学等机构的研究者们在2026年发布的一篇论文里反复在问的问题。论文的名字叫CLASHarness,直译过来是"冲突装载的智能体场景检验工具",专门用来测试AI智能体在面对"同伴说谎"或者"同伴信息过时"的情况下,到底能不能做出正确判断。

这件事听起来似乎没那么难。但当你意识到现在几乎所有严肃的AI测试基准,都默认一个前提,就是多个智能体之间传递的信息是一致的、可信的,你就会意识到这个问题的严重性。

真实世界的协作从来不是这样运作的。同事的汇报可能是基于昨天的数据,权限系统可能被另一个人悄悄改动过,共享的文件锁可能正被另一个进程占着。这篇论文想做的,就是把这种"信息打架"的真实世界复杂性,塞进一个可以被精确测量、精确打分的测试环境里。

造一个能被验证的谎言,到底有多难

听起来这个想法很简单:找一堆AI公司最新的模型,给它们编一堆互相矛盾的任务场景,然后打分。但研究者们很快撞上了一堵墙。

人工编写这些冲突场景,速度太慢了,根本没法覆盖足够复杂的操作环境。那换个思路,让大语言模型自己去生成这些场景行不行?

答案是:会出大问题。

当你让一个AI不受约束地去编写一个"多智能体冲突故事"的时候,往往会出现三个致命伤。第一个是故事会越写越跑偏,第一轮里设定的角色,到第五轮可能名字都变了。第二个是答案泄露,本来应该藏在某张图片里的关键信息,结果被AI顺手写进了任务说明的文字里,等于考试还没开始答案就贴在黑板上了。第三个最要命,生成出来的评分标准本身就是错的,连出题人写的"标准答案"自己都没法通过自己出的题,这个任务从一开始就是无解的。

这就好比你想办一场辩论赛,让人工智能随便出几道辩题。结果辩题写到一半忘了原来的立场是什么,关键证据直接印在了题目纸背面,而且评委手里的评分表压根没法打分,因为题目本身自相矛盾。如果不做任何约束,这场辩论赛从一开始就是个笑话。

于是研究者们设计了一套叫做CLASHarness的生成框架,核心思路是把"自由发挥"关进笼子里,用严格的流程保证每一道题都真的有解。

把"编故事"拆成八个步骤,层层上锁

CLASHarness的核心设计理念叫做分层分阶段生成

分层分阶段生成:不让AI一次性生成整个复杂场景,而是把生成过程拆成多个独立的小步骤,每一步都做严格检查,出了问题只回滚这一小步,不用推倒重来。

整个流程分成三层。第一层叫"建立一致的多智能体世界",先搭好整体故事线、角色权限、初始的代码仓库和系统日志,确保后面十轮对话有个稳定的舞台。第二层是真正的核心,叫"渐进式轮次合成"。每一轮对话要经历八个子步骤:先写任务指令,让同伴之间说出互相矛盾的说法;然后生成同伴对话历史;更新工作区里的文件;插入视觉证据,比如一张仪表盘截图;接下来是最关键的一步,叫做"事实预先提交",提前把这道题真正的标准答案锁定下来,并且扫描一遍确认这个答案没有被不小心泄露到文字里;再往后是起草执行计划、在沙盒环境里真实跑一遍命令行操作、最后根据这次真实跑出来的操作记录,自动编译出评分标准,这一步完全不需要再调用AI,直接用代码生成。

第三层是"后生成编译与多模态排他性检验",相当于最后一道质检关卡,检查任务描述和评分标准是否真的对得上,把视觉证据渲染成真实的浏览器截图,并且再扫一遍确认关键答案只出现在图片里,文字里绝对找不到。

这里有一个设计特别值得展开说说,事实预先提交

事实预先提交:在生成任何视觉素材之前,先把这道题的"标准答案"锁死,之后无论是画面板截图、还是写评分代码,都围绕这个已经锁定的答案来做,而不是先画图再拍脑袋编答案。

为什么这一步这么关键?想象你在给学生出一道看图说话题,如果你是先随便画一张图,再根据这张图临时编一个评分标准,很容易出现图里压根体现不出评分标准要求的那个细节。但如果你先确定"这道题的标准答案是数字142.6",再去画一张包含142.6这个数字的图表,评分标准和视觉材料自然就能对齐,不会出现"答案是对的但图里根本看不出来"的荒唐情况。

论文里给了一个具体案例特别有说服力。某个场景里,一份差旅报销单,系统缓存显示总额是850欧元,但四分钟后拍的一张纸质收据照片显示真实总额是725.46欧元。研究者统计了整个工作区里能读到的两万五千多个文字字符,发现725.46这个真实数字一次都没在文字里出现过,而那个错误的850却重复出现了14次。这意味着如果AI智能体图省事,只扫一眼文字记录就下结论,它一定会得出错误答案,唯一的办法是真正打开那张照片,自己读出收据上密密麻麻的明细账目,自己做一遍678乘以1.07的计算。

这种设计逼着AI必须动手去验证,而不是躺平抄近道。

十五个顶尖模型同台竞技,结果让人意外

研究团队最终用这套框架生成了600个多轮任务,涵盖20个不同的操作领域,比如仓库物流、医疗临床试验、卫星地面站交接、支付纠纷处理等等。整个测试里塞进了近八千张渲染出来的视觉素材和三千七百多个评分检查点。

接下来他们拉来了十五个当前最顶尖的AI模型同台较量,包括Claude Opus 5、GPT-6 Astra、Gemini系列、Kimi K3等等。结果呈现出三个让人意外的发现。

第一个发现是,实力越强的模型,越愿意亲自去核实证据,而不是偷懒

这听起来似乎是废话,强的模型本来就该更聪明。但真正有意思的是这种差异的量级。当同伴智能体给出的文字汇报和真实环境状态产生冲突的时候,能力弱一些的模型往往直接选择相信文字汇报,哪怕那份汇报是错的。而能力强的模型会主动去打开视觉证据核实,核实的差距能达到15到65个百分点。这说明"愿不愿意核实"这件事,其实是和模型能力强绑在一起的,不是简单的性格差异。

第二个发现更让人警醒,发现问题和解决问题之间,隔着一道巨大的鸿沟

研究者专门设计了一组对照实验来验证这件事。他们把任务分成两类,一类叫"仅需调查",AI只要看出哪里不对劲就算过关;另一类叫"需要主动解决冲突",AI不仅要看出问题,还得真正去执行一个改变系统状态的动作,比如撤销一个错误的部署、回收一把共享的文件锁。

结果数据非常直白。在"仅需调查"这类任务里,模型的通过率是28.1%,而换到"需要主动解决"的任务里,通过率直接掉到11%,净差距达到18.2个百分点,统计检验的p值恰好卡在0.052,接近显著性门槛的临界点。

这个发现换一个角度想,其实特别值得玩味。一个人发现家里水管漏水,和他真的拿起扳手把漏水的接口拧紧,中间隔着完全不同难度的能力。看出问题只需要观察力,解决问题需要的是动手能力加上对后果的承担。AI智能体在这件事上的表现,暴露出它们更擅长"评论"而不擅长"行动"。如果一家公司指望AI智能体全自动处理生产故障,仅凭它能发现异常是远远不够的,关键是看它会不会真的去修复异常,而这恰恰是最薄弱的环节。

第三个发现是最让人意外的:就连表现最好的那几个顶尖模型,收尾动作的失败率也超过58%

这里的"收尾动作"指的是释放共享资源锁、把任务正式移交给下一个负责的智能体这类收尾性质的操作协议

收尾动作:指一个多智能体协作流程走到尾声时,必须完成的清理和移交工作,比如释放掉自己占用的文件锁,或者把任务正式交接给专门负责的下一位智能体。如果跳过这一步,可能导致其他智能体一直卡在等待状态,或者权限一直没被收回。

这个发现背后的逻辑其实很残酷。AI智能体表现得像是一个工作狂,拼命去调查、去分析、去执行核心任务,但到了最后那一步,收拾现场、交接工作,却经常直接放弃或者遗忘。研究团队给出的一个具体例子是,当时测试中表现最好的GPT-6 Astra模型,整体任务通过率达到28.7%,领先全场,但它极少用完所有操作步数,经常是在完成核心任务后就自己提前结束了,而没有完成那些收尾性质的多智能体清理工作。

这就像一个修理工上门修好了漏水的水管,核心活儿干得漂亮,但走的时候忘了把地上的工具收走,忘了告诉房东水龙头的主阀门该不该关。核心任务完成了,但整个流程并没有真正闭环。

视觉证据不是摆设,是硬性门槛

研究团队还做了一个很直接的对照实验,叫做"失明测试"。他们把同样的任务拿出来,但故意不给AI提供视觉图片,只保留文字描述,看看AI能完成到什么程度。

结果非常残酷。即便是在那些评分标准上并没有强制要求必须打开图片的任务里,被蒙住眼睛的AI智能体也只能保留原本通过率的11.1%到13.1%。换句话说,拿掉图片之后,原来能做对的事情几乎做不对了。这个数据的统计显著性极强,p值小于十的负十一次方。

这说明论文里埋的那些视觉证据真的不是装饰品,而是解题必须经过的关卡。这也回过头验证了前面提到的"事实预先提交"这个设计的价值,如果不是提前锁定了答案再精心渲染图片,很难做到这种"答案只在图里,文字里完全找不到"的严格程度。

论文里还有一个很有意思的发现,叫做推理投入和任务表现的脱钩

推理投入:指大模型在回答之前花费多少内部"思考"的token(可以理解为模型内部打草稿用的文字量),有些模型会在正式行动前先在脑子里反复推演。

数据显示,模型花在内部推理上的token占比,从Claude Opus 5的8.8%,一路跨越到Gemini 3.5 Flash的90.5%,这个比例和最终任务成功率之间居然呈现负相关,相关系数达到负0.697。更极端的案例是,当研究者把Gemini 3.5 Flash的推理强度从低调到高,它的通过率不升反降,从13.5%直接跌到3.0%,原因是过度的内部思考循环占用了宝贵的操作步数预算,模型陷入了反复纠结的死循环,真正动手操作的机会反而变少了。

这个现象乍一听有点反直觉,按理说想得越多应该越靠谱。但放在一个有操作步数限制的真实任务环境里,这种"想太多"反而成了负担,就像一个人开会前准备了三十页PPT,结果讨论时间被自己占没了,真正该拍板的那一刻反而没时间做了。

模型一个一个看,各有各的毛病

论文附录里有一份特别细致的诊断表,针对每个模型总结出它最典型的卡壳方式,这部分内容读起来格外真实,因为暴露的都是具体的、可复现的行为模式,而不是泛泛的评价。

GPT-6 Astra的问题是完成核心任务后经常提前收工,没有把协作协议走完。Claude Opus 5的瓶颈恰恰不在于推理能力,而在于执行力,有239次任务里它压根没有去执行必需的环境操作,只靠推理是解决不了问题的。GPT-5.6 Sol检索效率偏低,图像转文字的精度也比不上同级别的Claude。Claude Opus 4.8的问题是成本太高,花的推理token是Claude Opus 5的四倍多,但分数反而低了2.4个百分点,属于典型的"多花钱没多办事"。

Kimi K3在语义理解上表现不错,但经常来不及把结果写进文件就先把操作步数用光了。Claude Sonnet 5恰恰相反,它打开的图片数量是全场最少的,1.83张每个任务,有92个任务里它压根没打开任何图片,直接靠猜测作答。Gemini 3.7 Flash最大的毛病是跑步数太快,40.7%的任务直接撞到20步的操作上限。GPT-5.6 Terra刚好相反,经常提前收工,没有用完所有可用的操作步数就草草结束了。

这些细节拼起来,描绘的其实是一幅"AI智能体人格画像"图谱。有的像个急性子,干完活就跑;有的像个完美主义者,一直在反复确认却迟迟不动手;有的则像个话痨,把大量时间花在内部自言自语上,真正干活的时间反而被挤占了。

说到底,测试的到底是什么

读完整篇论文,我意识到这篇论文真正有意思的地方,不是哪个模型得分最高,而是它用一套工程化的手段,把一个非常模糊的概念,"AI值不值得信任",变成了可以被精确拆解、精确打分的东西。

视觉核实能力、冲突解决能力、协作收尾能力,这三件事原本在直觉里好像是一回事,都叫"靠谱"。但论文的统计数据显示,视觉证据定位能力和语义冲突解决能力之间的相关系数只有0.02,几乎是零相关。

这说明这些能力是彼此独立的,一个模型能看懂图不代表它能解决矛盾,一个模型能解决矛盾也不代表它会好好收尾。这对于想要把AI智能体真正投入生产环境的人来说,是一个很实际的提醒,不能用一个综合分数去判断一个智能体是否可靠,得分别去看它在每个具体维度上到底强在哪、弱在哪。

Q&A

Q1:CLASHarness是什么?

A:CLASHarness是谷歌、埃默里大学等机构研究者提出的一个测试框架,专门用来生成和评估多智能体协作中出现信息冲突时AI能否做出正确判断,包含600个多轮对话任务,覆盖20个操作领域。

Q2:CLASHarness测试发现AI智能体最大的问题是什么?

A:三大问题,一是能力弱的模型容易盲目相信同伴给出的错误信息,不去核实证据;二是即使发现了问题,真正主动去解决冲突的通过率也会大幅下降;三是即便是表现最好的模型,在任务收尾阶段(比如释放共享锁、移交任务)的失败率也超过58%。

Q3:为什么CLASHarness要特意设计视觉证据而不是纯文字测试?

A:因为研究者发现如果把视觉图片拿掉,只给AI文字描述,原本能做对的任务通过率会暴跌到原来的11%到13%左右,这说明关键答案故意只藏在图片里而不出现在文字中,能有效检验AI是否真正核实证据,而不是走捷径。

文章标签智能体

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。