同一个模型，分数为啥差了七十多个点？
同一个模型，在老基准上快考满分，换到真实工作环境，只能独立干完四分之一的活。阿里刚发布的新基准，把智能体的家底量了出来。
这个基准名叫 Co-Design Bench，阿里巴巴出品，专门收集一类特殊的题目：真实环境里曾经失败过的用户请求。表现最好的模型，是 OpenAI 的旗舰 GPT-6 Astra，完整解决率百分之二十六点四。同一个模型在老基准上的得分，超过九成九。
两个数字摆在一起，落差七十多个点。差距大得反常，反常得值得追问。
要知道，这个模型就在几天前还因为能力太强而延迟了部分功能的上线，前脚还是全场最强，后脚就交不出完整的活。
顺带说清一个前提。智能体和聊天框是两回事：聊天框给你出主意，动手的是你；智能体直接接任务，改文件、跑命令、交付结果，全程自己来。
干活能力于是成了它的立身之本，考题换到这一层，才算碰到了真正的命门。
这道真考题难在哪一环？
老基准考的是背题，新基准考的是上岗
先说老基准为什么好考。一套评测题目用久了，题面在网上到处流传，解读文章铺天盖地，模型的训练数据里大概率就有原题。
刷分刷到后来，考的早就是记忆力的成绩单。高分背后有多少是真本事，没人说得清。
Co-Design Bench 把题库整个换掉了。它收的题目全部来自真实工作记录：需求描述得含含糊糊，系统里留着前人挖的坑，任务之前失败过一次，失败原因还没查清。模型答得好不好，全看现场本事。
打个比方，这就像模拟考和正式上岗的差别。
模拟考的卷子你刷过几十遍，分数再高也说明不了太多；正式上岗的第一天，客户、环境、历史遗留问题，全都现场见。
考题的三样难处，可以再拆开看。需求说不清，好比客户只会讲我要个能用的东西，剩下的全靠你自己悟；环境有暗病，好比接手一套没人写文档的旧系统，改哪都怕牵一发动全身；旧方案留尾巴，好比上个装修队干到一半跑了，水电走线全得先猜再拆。
三样里随便挑一样，都够新员工加几天班。
智能体上班，像新员工过试用期
把智能体想成一个新来的员工，两套考法的差别更清楚。老基准相当于让新员工背公司手册，背完就打分。
新基准相当于发工牌、开权限、领电脑，然后扔给他一个带历史包袱的真项目：先翻三个月的群聊记录，再接手一个上个人没做完就离职的活。试用期怎么过，全看临场。
完整解决，标准定得很硬
基准对完整解决的标准很苛刻：从读懂需求开始，改代码、跑测试、处理报错，到最后交付，中间一步都不许找人帮忙。
卡在任何一环，这一单就算没成。所以那剩下的四分之三，多数情况是活干了一大半，卡在最后一步等人类接手。
真活儿难，难在每个环节都埋着变量。需求说不清，环境有暗病，旧方案留尾巴，三样凑在一起，模型每往前走一步都可能踩空。
这也是为什么曾经失败过的请求最难：一道题失败过，说明常规解法已经试过一轮，剩下的全是硬骨头。
有人会问，这么好的尺子，为啥现在才有人造？真题难得：真实失败请求里带着客户隐私和内部信息，脱敏、整理、定标准，每一步都费人工。
动力也缺：自家模型考砸了的榜单，厂商普遍没有公布热情。阿里愿意做这件事，跟它同时卖云、做开源生态有关系：把真实差距量出来，生态里的活儿才有定价依据。
行业里对跑分虚高的议论其实早就有。这一次的特殊之处在于，终于有人拿真实工单当尺子，量出了那道缝到底有多宽。
四分之三的收尾活，坑的是谁？
你雇的助手，只交了四分之一的货
换到买家的位置看，这个分数意味着什么？假设你按榜单挑了个跑分最高的智能体，付着不便宜的订阅费，让它接单干活。
四个单子交上来，只有一个能直接用。剩下三个，都得你来收尾。
收尾的活，往往比从头做还磨人。你得先花时间看懂它做到哪一步，再判断错在哪一环，然后接手补完。
这里面最花时间的是交接。它的思路你得重建一遍，变量名、目录结构、动过哪几处，全要自己摸；摸完发现方向本身歪了，前面看的全白看。
写代码的人都知道，看别人的半成品比自己从头写还费劲，尤其是半成品里还混着几处看不见的错。有经验的工程师算过一笔时间账，接手别人半成品的沟通成本，常常顶得上重写一遍的工夫。省下来的人力，被这四分之三吃回去一大半。
个人用户同样逃不开这道算术题。拿智能体写代码、做表格、整理资料的普通人，交付物里掺着多少需要你亲手返工的部分，自己心里最有数。
前不久 Perplexity 发布的 AI 同事产品，官方演示里有这么一段：AI 夜班值守十四个小时，收到计费系统的报警后自己拉日志，把故障根因定位到一处写错的配置，修复方案都拟好了，最后停在等人工批准上线。
能干的它都干了，签字那一步还得人来。要留意，这已经是厂商挑出来的最优剧本，真实工位上的表现只会更糙。
厂商自己也有账要算
对模型厂商来说，这道考题是递过来的镜子。跑分营销的边际效果一直在递减，企业客户被榜单忽悠过几轮之后，选型越来越看重试用期的真实表现。分数漂亮、干活拉胯的组合，砸的是自己的招牌。
受冲击最直接的是两类人。一类是照着榜单写采购报告的工程师，分数撑不住真机测试，回头要向老板解释。一类是照着评测做内容的技术博主，榜单一换，旧文章的说服力跟着缩水。
也有受益的一方。学会拿真实任务测模型的企业，选型从看榜改成试岗，同样的预算能挑到真正顶用的助手。做评测的行业也会跟着洗牌，专测真实环境的基准，往后会越来越值钱。
跑分这张成绩单，往后还能信几分？
回到标题的问题：旧榜将近满分的模型，真活儿只交出四分之一，根子在两把尺子量的是两种能力。
老基准量的是背题的功夫，谁见过的题多、背得熟，谁分高。新考题量的是上岗的本事，谁能在乱糟糟的真实环境里把活干完整，谁才算数。
榜单有它的用处，筛掉不及格的选手，这一层功能还在。但及格线往上，量本事就得换一把尺子。
怎么换？企业选型可以在签约前加一轮真实任务试岗，拿自己最难的几个历史工单当考卷，让候选模型现场做，做不完的扣分；个人用户可以把手头的活拆成两半，一半交给智能体，一半自己兜底，跑上一个月再决定交多少给它。
往后盯两件事就够了。一是各家厂商会不会把真实任务基准的得分写进官方宣传页，写进去了，说明这块硬骨头被市场认了。
二是采购合同里会不会出现按试岗结果付款的条款，出现那天，智能体的成绩单才算真正改版。
题库刷得再熟，考场只认第一次进门的那个人。智能体也一样，宣传页上的分数再漂亮，最后都得在真实工位上见真章。
考卷换了，本事就得跟上。
