你有没有想过,一个军官要花一周时间才能写完一份作战分析报告?
这不是夸张。真实的军事行动分析,需要一个参谋团队把成堆的情报文件、作战命令、地图资料嚼碎了消化,然后吐出一份结构化的判断:敌人想干什么,我们能干什么,哪些是事实哪些是猜测,还缺什么信息才能做决定。这个过程在美军联合作战计划流程里有个专门的名字,叫"任务分析"。它不负责提出解决方案,只负责把问题说清楚。但问题是,如果这一步出错,后面所有的作战计划都会跟着错。
现在想象一下,让AI来干这件事会怎样。
这正是来自Scale AI和Data Machines的研究团队想搞清楚的问题。他们做了一件挺硬核的事:造了一个叫MA-Bench的测试基准,专门考AI模型做军事任务分析的能力。结果呢?在二十个顶尖AI模型里,表现最好的那个,也只做对了62%的要点。
这个数字说明什么,我们慢慢聊。
这件事到底难在哪里
先说清楚一件事:这不是一道有标准答案的题。
你给AI做数学题,2+2=4,错了就是错了。但军事任务分析不一样,两份措辞完全不同的分析报告,可能都是合格的,只是侧重点不同。你没法用"和参考答案像不像"来打分。
这就好比考察两个厨师做同一道菜。你不能要求他们的摆盘、调味比例完全一致才算及格,真正该考察的是:这道菜该放的关键调料有没有漏,该避免的致命错误(比如过敏原)有没有犯。至于摆盘好不好看,根本不重要。如果你非要按照"像不像参考答案"打分,那两个风格不同但都做得很好的厨师,可能都会被你判定不及格,而一个照抄菜谱但手法拙劣的厨师反而能拿高分。这就是为什么传统的"文本相似度"评测方法,在这里根本用不上。
研究团队的解法是:不管文字写得多漂亮,只看里面该有的判断有没有做出来。
他们造了十个虚构但高度真实的军事危机场景,每个场景配十到十二份文件,从战略背景、情报简报到作战命令、法律附件,字数从三万多到二十四万多字不等。然后,专业的军事规划人员针对每个场景,写出了一份详细的评分清单,总共1257条。每一条都是一个独立的判断点,问的是"这份报告有没有说出XX",答案只有通过或不通过,没有中间状态。
评分清单*:英文叫rubric,是一份把复杂任务拆解成一个个具体、可核查的判断标准的清单,每一条都对应一个明确的通过或失败条件。
这1257条规则不是随便写的。每一条都要满足六个条件:只测一件事(不能把两个要求揉在一起)、答案非黑即白、能在提交的报告里直接核查(不管写报告的人当时怎么想)、有明确的文档或条例依据、不用翻查原始文件就能判断对错,还得保证不和别的条目重复。研究者举了个例子:如果原始要求是"保护基础设施并遏制破坏",这就必须拆成两条单独的检查项,不能图省事合并着问。
区分三种难度:看得见的和看不见的
这份评分清单最聪明的设计,是把问题分成了三个难度层级。
第一层叫Tier 1,答案直接写在某一份文件里,照着抄就行。第二层叫Tier 2,答案需要把好几份文件里的信息拼起来才能得出。第三层叫Tier 3,是最难的,答案在任何一份文件里都找不到,必须靠推理才能得出。
举个具体例子。有个场景叫"海湾卫士",讲的是美国总统宣布在古巴海岸设立禁飞区保护平民,但同时又有一个"政权更迭"的后续计划被按下暂停键,等待最高指挥当局批准。这里有个Tier 3级别的考题:报告有没有意识到"保护平民"和"暗中准备政权更迭"这两件事之间存在张力,需要在事实上和舆论上都刻意区分开来?
这道题的答案,在文件里一个字都没写。文件只是分别描述了两件事,但没有明说它们之间的矛盾关系。能不能看出这层矛盾,考的是真正的参谋级判断力,不是信息检索能力。
这就像让你读两份独立的会议纪要:一份说公司决定给某个老员工升职加薪,另一份说公司正在秘密调研这个岗位是否该外包出去。两份纪要各自都没问题,但你作为旁观者,得自己意识到这两件事放在一起会很尴尬,会伤害士气,需要小心处理舆论口径。这种"把两件事放在一起看出矛盾"的能力,比单纯读懂每一份文件难得多。如果不单独测这种能力,只测信息提取,那AI看起来会表现得很好,但实际上离真正能用还差一大截,因为它根本不知道自己正站在一个雷区上。
结果是什么?这三层难度上,AI的表现呈现出清晰的递减曲线。Tier 1(直接写明的信息)平均通过率58.1%,Tier 2(需要拼凑的信息)降到49.0%,Tier 3(需要推理的判断)只有33.4%。而且这个规律在所有模型上都成立,没有一个例外。更关键的是,Tier 3这类最难的推理题占了整份评分清单的36%,这恰恰是研究团队最想测的东西,结果也恰恰是AI丢分最多的地方。
正负两种考题:不仅要会说,还要不乱说
评分清单里还藏着一个反直觉的设计:有些题目是倒着问的。
大多数评分条目是"正向"的,问报告有没有做出某个该做的判断。但还有一类是"负向"的,专门列出一个具体的"不该犯的错误",如果报告犯了这个错误就扣分。比如有一条考题专门检查:报告是否把一个"中等可信度的情报归因"直接当成了"已确认的事实"来处理。原始情报文件里明明写着这是跨源交叉评估,不是确定的结论,但AI模型如果把这种不确定性直接抹掉,写成"确定是某国代理人发起的攻击",这就是一个会被扣分的实质性错误。
这个设计背后的逻辑是:信息不全不可怕,乱下结论才可怕。一份报告漏掉了某个判断,顶多是不完整,但一份报告把不确定的东西说成确定的,会直接误导决策者。两者的严重程度完全不是一个量级。
研究团队为这两类错误设计了不对称的分值。重要缺失的扣分权重是正的,从+2到+9不等,代表漏掉这个判断对分析的伤害程度。而犯了"不该犯的错误",扣分是负的,-5到-9,而且这个扣分不会被其他地方的得分抵消掉。也就是说,就算报告在九十个地方表现完美,只要在一个关键点上把猜测说成了事实,这个负分照样会实打实地扣下去。
这就好比开车路考。考官不会因为你倒车入库练得特别熟练,就抵消你在十字路口闯红灯的扣分。闯红灯这种致命性错误是单独算账的,再厉害的侧方停车技术也换不回来。如果不这样设计评分规则,那AI完全可能靠着在简单题上堆砌大量正确答案,把一个致命的事实性错误的扣分给"冲"平了,而这在真实的军事决策场景里,是绝对不能接受的,因为一个被误判为确凿事实的猜测,可能直接把整个作战计划带偏。
实验结果显示,这种"致命错误"确实在发生。四千多个负向考题的检测结果里,平均有25.9%到28.3%的概率,AI模型会真的踩中这个陷阱,大约每份报告会犯三到五次这类错误,其中两次左右是最严重级别的。而且这个错误率在"写得很直白的文件陷阱"上更高,达到35%,比需要推理的陷阱(21%)踩雷率还高。这说明AI模型不是不会推理,而是在处理那些写得过于确定、容易被直接采信的文字时,反而更容易放松警惕,直接把不确定的描述当成了板上钉钉的事实。
谁来打分:让AI给AI打分靠得住吗
这里有个绕不开的问题:既然答案没有唯一标准,那谁来判断AI的报告到底及格没及格?
研究团队的答案是,用另一个AI模型当裁判。具体来说,是用一个推理能力很强的模型,把评分清单和AI生成的报告放在一起,让它逐条打分,只返回报告没通过的条目,通过的条目不列出来(这样可以避免裁判偷懒随便通过)。而且这个裁判从头到尾不会看到原始的文件包,它只能依据评分清单里自带的"标准答案"和"通过/失败条件"来判断,这保证了评分标准是统一的,不会因为裁判对场景的理解有偏差而影响结果。
这就引出了一个更根本的问题:AI当裁判,靠得住吗?
研究团队没有想当然地相信AI裁判,而是专门做了一轮验证。他们找了四位有专业军事教育背景的规划人员,让他们独立地给190个评分条目打分,然后看AI裁判和这四个人的意见一不一致。结果是,四位专家彼此之间的一致程度(用一个叫Fleiss kappa的统计指标衡量)是0.42,这其实不算特别高,说明人类专家对这种模糊判断本身也有分歧。而AI裁判如果被当成"第五个专家"加入这个小组,它和另外四人的平均一致程度是0.40,落在人类专家互相之间的分歧范围内,而且加入它之后,整个小组的一致性几乎没有变化(从0.42降到0.41)。
Fleiss kappa*:一种衡量多个评分者之间意见一致程度的统计指标,数值越高说明大家打分越一致,0代表纯粹随机,1代表完全一致。
换句话说,这个AI裁判犯的"错误",和人类专家犯的"错误"是同一类型、同一量级的。它不是在瞎打分,它的判断水平大致相当于一个合格的参谋人员。
研究团队还找了另外两家公司的模型来重新打分,检验结果是否会因为换了裁判而大幅变化。一个用谷歌的模型重新评了全部1050份报告,和原裁判的意见一致率达到84%,排名相关系数(Spearman)高达0.94,意味着不管用哪个裁判,模型之间的排名顺序基本不变。他们还专门检查了"自家偏爱"这种常见的AI裁判毛病,也就是模型会不会偷偷给自己家族的产品打高分。结果三组裁判两两对比,这种偏爱的程度都没超过0.03,比任何一个模型本身的置信区间宽度都小,基本可以忽略。
这就像请三个不同餐厅的主厨来给同一场厨艺比赛打分。如果三位主厨给出的名次排序高度一致,那你大概可以相信,这个名次反映的是选手真实的水平差异,而不是某个主厨个人口味的随机波动。如果不做这层交叉验证,那整个评测体系的可信度就立不住,因为读者完全可以质疑说,这个排名是不是只是因为裁判恰好偏爱某几家公司的技术风格。
二十个模型的成绩单:谁考得好,谁考得差
铺垫完方法论,来看真正的结果。
研究团队测试了二十个主流AI模型,包括闭源的和开源的。排名第一的是一个叫Muse Spark 1.3的模型,拿到62%的正确率,加权得分0.574。紧随其后的是Grok 4.6(0.540)和Claude Opus 5(0.514)。开源模型里表现最好的是GLM-5.3,得分0.505。排在末尾的是Gemma 4 31B,只有0.302。
这个分数区间从0.30到0.57,跨度看起来不小,但研究团队特别提醒,每个模型的置信区间大约有正负0.08那么宽,这意味着排名中间相邻的模型其实分不出高下,只有排在最前面和最后面的那几个模型,差距才是真实存在的。
更值得琢磨的是,"覆盖率"(该说的话有没有说全)和"犯错率"(有没有说错话)是两件完全独立的事。GPT-6 Astra这个模型,犯的致命错误最少,平均每份报告只有3.1次,其中1.4次是最严重级别,但它在覆盖率排名上只排到第五。这说明有的模型选择了保守策略,宁可少说也不乱说,而有的模型则是什么都敢说,结果覆盖率看起来不错,但错误也更多。单看一个总分,是看不出这种差异的。
还有一个有意思的细节。Claude Fable 5.1这个模型的得分区间特别宽,原因不是它判断力不稳定,而是它在两个场景里直接被内容过滤器拦截了,报告写到一半就断掉,甚至没有正常的拒绝提示。研究团队的处理方式是,把这种被截断的输出按"原样提交"来打分,因为一个在十个场景里拒绝回答两个的系统,这本身就是关于这个系统的一个事实,不该被隐藏或美化。如果去掉这九份被拦截的报告,它的分数会跳到0.510,和Claude Opus 5基本持平。
AI到底强在哪,又弱在哪
把所有模型的表现按军事任务分析的十二个具体步骤拆开看,会发现一个很清晰的模式。
AI模型在"约束与限制"(72%)、"上级任务与指挥官意图"(66%)这两类任务上表现最好。这两类任务的共同特点是,文件里已经把答案写得比较明确,AI只需要准确地把它复述、传递下去。
而AI表现最差的,是"指挥官关键信息需求"(31%)、"决策点与关键地域"(38%)、"兵力与资源分析"(41%)。这些任务的共同特点是,它们要求AI从当前的情况出发,往前看,预判接下来会面临什么决策、还缺什么信息。
这个对比揪出了一个很根本的问题:AI擅长描述现状,但不擅长预判局势会往哪个方向发展,以及这个方向会逼出什么决定。
这就像让一个新来的助理去读一堆往来邮件,然后汇报情况。他能很准确地把每封邮件里说的事情复述出来,谁说了什么、什么时候的截止日期,这些都没问题。但如果你问他,根据这些邮件,老板接下来最可能面临的两难选择是什么,还缺哪个关键数据才能做决定,他往往就说不清楚了。这种差距不是记忆力的问题,是经验和判断力的问题。而军事任务分析里最核心、最有价值的部分,恰恰就是这种"往前看"的能力,如果AI在这方面持续薄弱,那它顶多能当个很称职的文件摘要员,离真正能辅助决策还有距离。
研究团队还对失败的原因做了一次细致的归类。他们分析了三万一千多个失败的考题,发现60.2%的失败原因是彻底的遗漏,就是该说的话根本没说。只有1.6%的失败是因为内容本身是错误或没有依据支撑的。这个比例在不同模型、不同难度层级、不同重要程度上几乎不变。
这个发现有点扎心。它意味着,如果你只是检查AI写的东西里有没有错误的句子,你会错过绝大多数真正的问题。因为问题根本不在"写错了",而在"没写"。一份报告读起来流畅、专业、逻辑自洽,但偏偏漏掉了一个最关键的判断,这种缺陷用传统的"查错"思路是完全抓不出来的。
篇幅限制和算力投入:多想一会儿有用吗
研究团队还做了几组对照实验,想看看篇幅限制和AI的"思考时间"会不会影响结果。
他们给所有模型设置了一个三千字的篇幅上限,理由是真实的参谋报告大概就是这个长度。去掉这个限制之后,几乎所有模型的分数都涨了,比如GPT-6 Astra从0.485涨到0.562,涨了0.078分,篇幅则涨到原来的三倍。这说明模型其实知道更多该说的内容,只是三千字的篇幅逼着它必须做取舍,而这个取舍本身也是一种能力的体现,毕竟真实世界里确实不可能写一份几千字的报告。
但篇幅长不代表分数高。写得最长的模型Gemini 3.8 Flash平均写了5200字,得分却只有0.371,反而不如从没写满篇幅上限的Qwen3.8-Max(0.410)。这说明堆字数解决不了判断力不足的问题,写得多不代表说得对、说得全。
另外,研究团队还调整了几个模型的"推理强度"参数,也就是让模型多花一些计算时间去思考。结果是,从低强度调到高强度,分数的变化幅度最多也就0.08,而且没有一致的方向,有的模型反而因为想得更久而分数更低。即便思考所消耗的token数量涨了十倍到上百倍,分数的提升也微乎其微。这说明"让AI多想一会儿"并不是解决这类任务的灵丹妙药,这个任务缺的不是算力,是某种更根本的判断能力。
这倒是提醒了我一件事:很多时候我们以为给AI更多时间思考就能解决问题,就像以为让一个新手多琢磨几遍就能变成专家。但有些能力的差距,不是靠多想几分钟就能补上的,它需要的是真正理解局势演变的经验,而这恰恰是现在的AI模型最缺的东西。
写在后面
读完这份研究,最触动我的其实不是那个62%的数字,而是研究团队为什么要专门把"遗漏"和"错误"分开统计。
这揭示了一个我们平时很容易忽略的评测盲区。我们习惯性地觉得,检查AI的输出,就是去挑错,找那些写错的、编造的、不合逻辑的句子。但这篇论文用数据证明,在这类复杂的分析任务里,六成的问题根本不是"写错了",而是"该写的没写"。这种缺陷在阅读体验上几乎是隐身的,一份报告读起来流畅自信,但恰恰缺了那个最该有的判断,普通读者根本看不出来哪里有问题,只有拿着那1257条清单一条条核对,才能揪出来。
这让我想到一个更大的问题:我们现在评价很多AI产品的方式,其实也经常停留在"有没有写错"的层面上,比如事实核查、逻辑一致性检查。但如果一个任务的核心价值在于"覆盖全不全、该想到的有没有想到",那这种评测方式可能从一开始就抓错了重点。
另外一个让我反复琢磨的细节是,AI模型在"描述现状"和"预判决策"这两类任务上的巨大落差。这个落差背后,可能指向的是一个更深的问题:现在的大模型,本质上是在海量文本里学习"事情是怎样被描述的",而不是学习"身处局势之中的人应该怎么往前看"。描述现状,是对已有信息的加工和整理,AI做得越来越好。但预判局势会怎么发展、什么决定即将被逼出来,这需要的是一种代入到决策者位置上的推演能力,这种能力在训练数据里几乎找不到现成的"标准答案"可以模仿。
这篇论文测的是军事领域,但这个落差恐怕不止存在于军事领域。任何需要"从现状推演接下来该做什么决定"的工作,可能都会撞上同一堵墙。
那堵墙什么时候能被打穿,或许要看AI到底是在学"怎么说话",还是在学"怎么思考"。
Q&A
Q1:MA-Bench是什么?
A:MA-Bench是Scale AI等机构推出的一个评测基准,专门用来测试AI模型做军事任务分析的能力,包含十个虚构军事场景和1257条专家编写的评分标准,考察AI能不能像参谋一样,从大量文件中提炼出关键判断。
Q2:MA-Bench测试中表现最好的AI模型是谁,得分多少?
A:表现最好的是Muse Spark 1.3,正确率为62%,加权得分0.574,紧随其后的是Grok 4.6(0.540)和Claude Opus 5(0.514),整体来看二十个模型里没有一个接近满分。
Q3:为什么AI在军事任务分析里表现不好?
A:研究发现AI模型最大的问题不是写错内容,而是大量遗漏该说的判断,六成失败属于彻底遗漏。AI擅长复述文件里已经写明的信息,但在需要预判决策、推理隐藏矛盾的任务上表现明显更差,正确率仅33.4%。







