Token导航 LogoToken导航

AI 资讯 · 虎嗅网

AA榜评分方法存疑:模型分数由版本与权重决定

更新 2026-10-24虎嗅网正文 3808字阅读约 12分钟

AI考场榜拆解(AA榜):分数不是模型跑出来的,是版本算出来的

本文来自微信公众号: 穷奇商业 ,作者:穷奇观察

9月22日,小米开源MiMo-V2.6-Pro,46分,登顶Artificial Analysis开源榜。一个月后,Kimi K3.1 Pro发布,55分——等权重一放,将成为新的开源第一。

一个月,两个"开源第一"。

这不是中国模型突然行了,也不是突然不行了。是尺子又动了。

AA这张榜,问题不在中国模型分低,在尺子握在别人手里,刻度还随时在动。

同款Kimi K3,今年7月发布时的榜单上是57分,全球第三;等权重一放,又是开源之首。今天的AA模型页上只剩44分。13分差在哪里?AA只解释了版本变了,没给出这13分怎么摊到每个科目上。同款DeepSeek V4 Pro,v4.1时代是44分,现在是36分。按今天的尺子,K3.1 Pro比K3高11分;两把尺子本不可直接相减,可即便只看方向:K3三个月前的57分,比K3.1 Pro今天的55分还高。新模型赢了旧模型,输给了旧尺子。

分数不是模型跑出来的,是版本算出来的。读这张榜,先认版本号再看分——跨版本、跨抓取日的数字,一律不许相减。

如果OpenRouter是流水榜,AA就是考场榜。这家总部在旧金山的小公司,给各家大模型出卷子、算综合分、排座次,被全球科技媒体和开发者广泛引用。

先看变动前的考卷。6月15日上线的v4.1版,九项评测加权:GDPval-AA v2占20%,Terminal-Bench 2.1占16%,τ³-Banking占14%,HLE占12%,AA-Omniscience占12%(准确率8%加非幻觉率4%),SciCode占8%,GPQA Diamond占6%,CritPt占6%,AA-LCR占6%。

权重第一名的科目叫GDPval,出题人是OpenAI。2025年9月25日,OpenAI发布这套评测:44个职业、1320个真实工作任务,考生要交的是美国白领的交付物——法律简报、工程图纸、护理计划、幻灯片、表格。数据底座是美国劳工统计局的职业库和劳工部主办的职业数据库。这门课考的不是智商,是美国职场的干活能力。

这20%,在美国是真金白银的刚需。一份法律简报的背后,是美国行情里时薪几百美元的专业人士、平均七小时的活,长的任务按周算,AI出草稿直接省大钱;美国公司的工作流天生是文档驱动,交付物就是工作本身,AI写的文件能直接进流程、进账单。这门课的对错,美国企业用美元投票。

同样的知识工作,在中国长得完全是另一副样子。干活的主体是微信群里一句话、钉钉里一个审批流、月底一张Excel。国内白领的月薪,大概几千到一万五人民币;在这个人力成本下,"AI替代白领"的账算不平。中国企业老板的真痛点是盯店、回差评、算清账。

这里得把话说准。GDPval的44个职业里,有零售一线主管,有客服代表,有会计和审计。盯店、回差评、算清账,岗位都在。缺的不是岗位,是题。1320道题,没有一道是微信群里一句话、钉钉里一个审批流、月底一张Excel;题面全是美国职场,交付物是法律简报、工程图纸、幻灯片。中国老板的活儿,在这张卷子上找不到对应的考法。

按v4.1的权重算总账:GDPval、Terminal-Bench、τ³-Banking三门,合计正好50%;另外六门合计50%。九门课里,没有一门是按中国场景出的题。再看后面的科目调整,看权重流向就知道立场往哪偏——新增的两门评测里,GDP.pdf把"通用知识工作"类权重推到30%,代码类从24%被稀释到20%,科学推理类随GPQA Diamond退役缩编到20%。中国模型最锋利的,恰恰是数学和代码这两门老本行。权重往美国职场挪,就是往对手的主场挪。

考纲偏科,不等于中国考生实力差,分数低不低是另一回事。真正的病,是国内把这张卷子当通用成绩单供着,以及厂商真金白银砸研发预算,去对齐一门在那边真实存在、在这边对不上号的活儿。

尺子自己开始动了。9月初,v4.2上线:新加AA-Briefcase和GDP.pdf两门评测,GDPval的权重从20%砍到10%,GPQA Diamond因饱和退役,保密题库占比从20%提到40%。三天后,v4.3又把τ³-Banking整门换掉,Terminal-Bench升到4.0。9月下旬,v4.3.2对GDPval的Elo基准做了重标定——怎么改的,官方只在更新日志里留了一行"改进Elo稳定性",旧分和新分之间没有官方对照表。

从6月15日到9月19日,三个多月,v4.1之后连小版本一起算,至少五次更新。这话即便诚实,代价也埋得深:原始Elo的历史序列断了;跨版本只能看指数排名,不能直接比原始分。"人类专家"这个参照物,从GDPval-AA的刻度上消失了,往后是模型对模型。

v4.3.2之后,旧截图和新榜单不能直接对照。当天转引这张榜的报道,有几篇写清了版本号?

裁判席上坐的是谁?OpenAI的GDPval,主评分是专家盲评,此外还训练了一套自动评分器作为辅助——论文自己报告,评分器和人类评委的一致率66%,人类评委之间是71%,差5个点,够用,但不是人。AA的GDPval-AA是另一套:它不训练评分器,它请裁判——一个由前沿模型轮换组成的评审团。考生的同行,坐在裁判席上。

最微妙的是OpenAI自己下场那次的姿态。GDPval发布,它把自家GPT-5和竞品一起测:Claude Opus 4.1第一,论文图表口径47.6%的任务达到或超过专家水平;自家GPT-5第二,39.0%。对手不用站台,分数已经站了。

自己家办的考试,让别人拿状元。这姿态看起来无私,其实是这个牌桌上最贵的广告。连对手都认的考卷,才是真正的考卷。

公允地说,这张榜该存在。独立第三方评测是行业的公共品——方法论公开、分数人人可查,比厂商自报的跑分可靠得不是一个量级,中国读者需要有人替他们盯住这把尺子。问题从来不是它该不该存在,是它没有外部监管,约束只靠独立性政策和商业声誉。

AA靠什么活着?卖订阅分析服务,Pro版定价417美元一个月一个座位。客户主要是需要做模型选型的企业和机构。它不公开客户名单,考生和客户之间有没有重叠,外人看不见。投资名单里没有OpenAI、Anthropic、Google这些前沿模型公司——它官网写明了独立性政策:厂商不能花钱买结果、买方法论改动、买上榜位置。这一条,它守住了。

订阅收入给了它独立性。可这个独立性是商业结构给的,不是制度给的:考纲由它一家定,权重由它一家调,版本由它一家发。v4.3.2这种"一行日志换一把尺子"的操作,防得住考生刷题,防不了出题人调刻度。

独立的生意,不独立的尺子。

信源与核验说明(2026年10月24日)

  • MiMo-V2.6-Pro 46分、2026年9月22日发布、登顶开源榜:VentureBeat、XenoSpectrum、AlphaSignal交叉。

  • Kimi K3.1 Pro 55分、2026年10月23日发布、总榜第四、权重11月4日前开放后将领跑开源榜:Artificial Analysis官方changelog(10月23日条目)、The Decoder。

  • Kimi K3 2026年7月17日评测57分、全球第三(AA官方文章标题即"K3 achieves#3");当前v4.3.2页面为44分,差13分:AA 2026-07-17官方文章+当前模型页实测。

  • DeepSeek V4 Pro 0813从v4.1的44分变为当前36分:TheElec。

  • v4.1九项权重(GDPval-AA v2 20%、Terminal-Bench 2.1 16%、τ³-Banking 14%、HLE 12%、AA-Omniscience 12%、SciCode 8%、GPQA Diamond 6%、CritPt 6%、AA-LCR 6%):AA官方methodology,逐项核对一致。

  • 版本时间线与变更(v4.1 6月15日上线;v4.1.1 8月6日;v4.2 9月初上线加AA-Briefcase与GDP.pdf、GDPval权重20%→10%、GPQA退役、保密题库20%→40%;v4.3上线换τ³-Banking为AutomationBench-AA、Terminal-Bench升4.0;v4.3.2 9月下旬对GDPval Elo基准重标定,官方日志仅一行"改进Elo稳定性",新旧分无官方对照表):AA官方changelog、nexforce与AI Weekly转载、codersera rebase综述。

  • 分类权重流向(新增评测后"通用知识工作"类升至30%、代码类24%→20%、科学推理类缩至20%):AA官网当前分类权重表。

  • GDPval(2025年9月25日发布,44职业、1320任务,交付物含法律简报、工程图纸、护理计划等;自动评分器与人类评委一致率66%、人类评委之间71%;首测Claude Opus 4.1 47.6%、GPT-5 39.0%,论文图表口径):OpenAI官方(openai.com/index/gdpval/)与论文arXiv:2510.04374。

  • AA定价(Pro版417美元/月/座位)与独立性政策原文("厂商不能花钱买结果、买方法论改动、买上榜位置"):artificialanalysis.ai/pricing页FAQ,2026年10月24日直抓。

  • AA公司信息(2023年成立、总部旧金山):PitchBook档案。

文章标签AI资讯

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。