该图片使用了AI生成技术
大数据文摘出品
最近,Anthropic给Claude上线了动态工作流,一个领队Agent,最多能同时指挥1000个子Agent并行干活。再往前数,OpenAI的Agents API、各家编程工具,也都把"多Agent协同"写进了卖点的第一行。那架势像是在说,一个AI不够,那就来一群。
这里插一句,给不太熟的读者。Agent这词,你就理解成"能干活的AI员工":给它一个目标,它自己拆任务、自己调工具、自己交活,不用你一步步盯着。所谓组队,就是招一群这样的员工,再配一个当领导的。
现在,一家叫Vals AI的评测公司发了份实测报告,标题是:《Do Agent Teams Pay Off?》,翻译过来:Agent团队,到底值不值?
via https://www.vals.ai/blogs/multi-agent-vibe-code-bench
他们让眼下最能打的两个编程模型,OpenAI的GPT-6 Sol和Anthropic的Claude Opus 5.5,分别单挑和组队,干了同一批活,然后把账单和成绩单并排贴了出来。
成绩单的观感,怎么说呢,有点像你花大价钱请了个施工队,最后发现干得又快又省的那个工人,是队长自己。
一. 发生了什么?
先说清楚他们是怎么测的。
Vals AI手里有个benchmark,叫Vibe Code Bench。规则是:给AI一份产品需求书,让它从零造出一个完整能跑的网页应用,数据库、接口、界面、部署,全套都得有。造完之后,派一个"机器人评委"开着浏览器,像真人用户一样点按钮、填表单、走流程,看功能是不是真好使,然后打分。

50个应用,每个配置跑一遍。
团队模式是这样设的:一个领队Agent,最多带5个子Agent,子Agent不许再往下招人。两个领队收到的指令一模一样:把活拆成独立的几块,派下去,最后自己整合、自己验收。
变量就两个:单挑还是组队,中等思考力度还是拉满。两个模型乘起来,一共八组对照。
二. 先看账单,再看分数
GPT-6 Sol,中等力度:单挑77.6分,花1.22美元;组队84.9分,花3.07美元。涨了7.3分,成本2.5倍。注意,这是全场八组对照里,仅有的一次统计上站得住的进步。
GPT-6 Sol,拉满:单挑89.0分,4.82美元;组队90.4分,8.54美元。涨了1.4分,统计上约等于没涨。
Claude Opus 5.5,中等力度:单挑91.5分,4.08美元;组队91.2分,9.10美元。钱花了一倍多,分数还掉了0.3。
Claude Opus 5.5,拉满:单挑89.8分,23.77美元;组队93.2分,122美元。涨了3.4分,但统计区间从负1.4跨到正8.3,意思是这3.4分有可能是运气。成本,5.1倍。
最扎心的一组对比在这里:Opus最便宜的配置,中等力度单挑,4.08美元考91.5分;最贵的配置,拉满加组队,122美元考93.2分。
价格差了30倍,分数差了1.6,而这1.6分统计上还说不准存不存在。

那钱到底烧哪儿去了?大头是缓存输入token。每个子Agent上岗,怀里都得揣一份完整的需求书加上自己的工作记录,而且每次调用模型都要把这一大坨重新发一遍。Opus拉满团队里,子Agent们每个应用平均要读2.24亿缓存token,单挑的只要5500万。有一个团队直接跑到了5小时15分的超时上限,估算烧了189美元,活还没验收完。
时间账也有意思。组队只帮Sol省了时间,从38分钟压到28分钟;Opus组队反而更慢,最慢那组平均174分钟,是单挑的2.3倍。每一波子Agent都要等最慢的那个交活,这画面,开过会的人都懂。
还有一个顺带发现,我觉得比主结论还值钱:对Sol来说,把思考力度从中等拉到拉满,分数涨了11.4分,比组队带来的7.3分还多。
让一个多想一会儿,可能比多叫几个来,更划算一些。
三. 两个领队,两种带队伍的画风
报告里最有意思的部分,是这俩领队Agent的管理风格,差别大到能当管理学案例。
Sol的领队,是个雷厉风行的包工头。开局一分钟之内,按架构把活切好,数据库一块、API一块、界面一块、部署一块,子Agent同时开工。它自己不怎么写代码,主要干三件事:派活、催活、验收。
关键是,它验收是真验收。50次里46次,它亲自开着无头浏览器把做好的应用完整点一遍,测试量是单挑模式的两倍。它抓到的bug都很有"接缝味":界面发出去的字段跟数据库的结构对不上,总价前端这么算、后端那么算。这些毛病有个共同点,单独看每一块都好好的,拼起来才露馅。抓到bug,打回给负责的子Agent改。
Opus的领队,是个学院派项目经理。开工之前先写一份“合同”,文件名就叫CONTRACT.md,数据结构、接口路由、每个文件归谁管,全写清楚,50次里写了42次。然后一波一波派人:先来一波打地基的,再来一波盖功能的,最后一波专职测试。
流程很正规,问题也很正规:每一波都要等最慢的那个人。拉满模式下,一个子Agent平均要跑46分钟。它的团队把三分之二的时间花在了第一次部署之后,光测试就砸进去68个"agent分钟",单挑只花10个。

结果呢?Sol的团队多少挣到了点分,Opus的团队输赢各半,14个应用涨了分,15个掉了分。
一个像亲自盯现场的包工头,一个像先写完美章程再开三轮评审会的PM。至于哪种更好,数据说,看命,也看活。
四. 那组队到底啥时候有用?
先别急着把Agent团队一棍子打死,报告里藏着一张更值得记住的图。
Sol的中等团队,在"更难的活"上平均涨了15分左右,在简单活上只涨了1分。差距非常大。
更有意思的是涨分最多的那9个应用。研究人员扒了一下原因,有点哭笑不得:单挑的AI经常功能没做完就报告"测试通过"了,有些流程压根没跑过。团队把这部分漏掉的活补上了,看得全,查得细。
换句话说,在这些任务里,团队填的主要是注意力的坑,智力的坑还在原地。
这个判断,行业里的人其实也在说。OpenAI的研究员Noam Brown在Dwarkesh播客里讲得很直白:多Agent买到手的主要是速度,四个Agent快一倍,也贵一倍。网页检索、数学证明这种能拆成碎片的活,适合并行;写小说这种活,你派一万个Agent上,和派一万个人上,差不多一样没救。
OpenAI的工程师Eric Provencher说得更狠,他给这现象起了个名字:协调税。Agent之间的配合会崩,崩掉的那部分,全是钱。
连Anthropic自己的数据都有点尴尬。他们拿Opus 5.5测过,从10个Agent加到100个,跑满24小时,分数只挪了一点点。一个知识库任务,1个Agent考0.53分,100个考0.74分,分是涨了,账单涨得更快。
不过反例也有。就在上周,Anthropic自己的动态工作流测试里,研究人员往11.6万行代码里藏了70个bug,单个Agent每轮能抓14到27个,团队协作稳定抓到66个。
所以这事得两头说:活能不能拆成互不打架的几块,可能是关键。拆得开,团队就值这个价;拆不开,就是花钱买个热闹。报告作者在最后说:这只是全栈网页应用这一个基准上的结果,换个工种,未必成立。







