“从代码调试到 3D 打印，模型的执行能力进步了，但自我验收仍有盲区。”
作者丨Rhea
编辑丨李娜 岑峰
国内时间 10 月 24 日，月之暗面发布 Kimi K3.1 Pro。它和 7 月发布的 K3 用的是同一个底座，Artificial Analysis（下称 AA）的综合分从 44 涨到 55，在 215 个模型里排到第 4。 发布一周以来，K3.1 Pro 的跑分、价格和实际表现已经引发了不少讨论。我们也用网页版 Agent 和 Kimi Work 跑了 12 次任务，看看这款排名靠前的模型，真正交付的东西到底怎么样。
最新 X 上比较火的果冻动物测试
该图由 K3.1 pro 一段提示词直接生成
K3.1 Pro 发布一周，我们总结了一下发现讨论大致可以收拢到三件事上。
能力基本获得认可。AA 给它排第 4，只比第一名 Claude Opus 5.5 低 3 分。开发者 Simon Willison 认为，在承诺开放权重的发布里，它是第一个能这样可信地和前沿闭源模型掰手腕的。争议当然也有：官方目前的编程分数大多是在 Claude Code 里跑出来的，有人质疑考场选得对自己有利；第三方编程测试 KingBench 把它排在 11 个模型里的第 6。
单价便宜了，干一件活未必省。输入、输出单价都降了三分之一。它想得更久用的 token 也更多，AA 算下来每个任务的花费和 K3 差不多。目前好几篇评测都提到它有点慢：有评测说它在 token 单价上又聪明又便宜，只是慢；也有测试发现它出答案的时间约是 K3 的两倍。我们自己测下来也发现任务确实跑的很慢。
信任和供给各出了一次状况。发布当天，X 上流传出一份未经证实的海外推广指引，其中一条是要求博主不标注付费合作；截至 10 月 26 日，Moonshot 没有公开回应。发布第三天，Kimi 就限流和额度异常消耗公开道歉，给会员补了 25% 的月额度。
这些讨论或多或少都在回答一个问题：K3.1 Pro 是否足够前沿。本次测评尝试回答大家实际使用中更关心的问题：把真实的任务交给它，交回来的东西能不能用。
01
发布一周，Kimi K3.1 Pro 表现如何？
Kimi K3.1 发布页主视觉（来源：Kimi 官网）
K3.1 Pro 是 K3 的后训练版本。底座没有换，仍是 2.8T 总参数、104B 激活参数，上下文长度 1M；变化来自加大的后训练，官方称在数百个领域上联合做了强化学习。打个比方来说的话，类似于书还是那些书，只是入职后的岗位训练得更多了。
官方给它定的主攻方向是写代码、3D 创作、金融研究，以及 agentic 能力，也就是自己动手、分好几步把一件事办完。和它一起上线的还有两个东西：快车道版本 Highspeed，价格是标准版的两倍；3D 生成入口 3D Make，生成的模型可以下载打印。标准版 API 每百万 token 输入 2 美元、输出 10 美元。
kimi.com 上的 3D Make 入口（来源：Kimi 官网）
官方承诺 11 月 4 日前开放权重。在那之前只能通过 Kimi 自己的网页、App、桌面端 Kimi Work、Kimi Code 和 API 使用。
榜单第 4 名，涨的是干活的本事
在 AA 的综合指数（v4.3.2）里，K3.1 Pro 得 55 分，215 个模型中排第 4，前三是 Claude Opus 5.5（58）、Claude Sonnet 5.5（56）和 Meta 的 Muse Wonder Full（56）。K3 在同一版指数里是 44 分。
涨幅几乎都落在干活上。终端编程任务 Terminal-Bench 4.0 从 13% 涨到 67%，全榜最高；模拟真实知识工作的 GDPval-AA 涨了 312 个 Elo 分。考知识储备和科学推理的几项，只涨了 2 到 5 分。
账单上有一处容易被忽略的点，虽然单价降了三分之一，但它干一件活消耗的更多，所以 AA 算下来每完成一个评测任务的花费约 1.98 美元，和 K3 差不多。好比打车单价便宜了，但司机路绕得多了，所以到家车费几乎没怎么变。
官方跑分不错，但还得看实际表现
官方主表列了 14 项评测，都是厂商自测。K3.1 Pro 对 Claude Opus 5.5 是 9 胜 5 负。差距最大的是科学类终端任务，落后 25 分以上；3D 建模评测 BenchCAD 落后 Opus 5.5 3.5 分。BenchCAD 是表里唯一一项 3D 评测，也是本文最想亲手验证的一项。
官方主表 14 项评测，均为厂商自测，所有模型都开到最高推理档（来源：Kimi 官网）
官方的编程分数大多在 Claude Code 这个考场里考出来。AA 换到自己的考场重考 Terminal-Bench 4.0，得到 67.2%，比官方报的 65.7% 略高。跑分之外官方说得最具体、最能验收的有三句话：做出来的 3D 模型能直接拿去打印；长程调试遇到瓶颈时，会回头检查环境本身；金融研究分数领先，幻觉大幅减少。我们后面会针对这三个分别测评。
和 K3 比：参数没动，后训练和账单变了
K3 与 K3.1 Pro 核心参数
从表里面可以看出两个模型几乎是一样的东西：同一个底座以及同样 1M 的上下文。3.1 pro 的变化主要是后训练练得更多，单价降了三分之一，以及多了一档快速档位。快车道的标价是每百万 token 输入 4 美元、输出 20 美元，和 Opus 5.5 的标价相同。
02
实测：我们给它安排了12次任务
我们按官方那三句话各派一件活，再加一道附加题：
长程调试会回头查环境：修一台装错了零件的机器，一段火星着陆器的模拟程序。
金融研究：做一本每个数都要附发票的账，泡泡玛特的财务模型。
3D 能直接打印：做一个要装得进电脑主板的外壳，和一座能摆上书桌的太和殿。
附加题：问 10 件不存在的事看它会不会顺着编。
为了公平起见评分标准我们在开考前写好，标准答案封进文件里，考完不改；它可能考好的题照样出。交回来的东西逐件验收：着陆器重新跑一遍，外壳和太和殿量尺寸，财务数字翻原文核对。
测试的环境是 Kimi 网页版的 Agent 和桌面端的 Kimi Work。着陆器和外壳两个环境都跑了一次，财务模型、附加题和太和殿只在 Kimi Work 里考，每个组合考一次，一共 12 次运行。Kimi Work 界面上的模型一栏显示“K3.1 Pro 进阶”，模式是“全自动”
左侧是交付说明和下载文件，右侧是 3D 预览，底部能看到“K3.1 Pro 进阶”和“全自动”
先说结论。
做 3D 任务要看怎么交代。尺寸写成数字时 4 份外壳 3 份合格；如果只给一句话、让它自己看图纸时 产出的 2 份都不能用。
修程序是过关了。我们编的着陆器的程序被故意写错了 4 处。两个入口都看出问题出在程序本身并证明按原规则做不到；放开限制后 4 处全部修对。
做金融计算也很不错。财务模型里 342 个数字逐个对得上财报原文，预测部分全用公式。官方说的“幻觉大幅减少”要靠研究笔记来验，这一轮还没测。
它报出来的数字几乎都是对的。它写通过、已完成的地方，有 6 处和实际不符，而且都在 3D 题里。
03
3D 建模：做得出来，不一定装得上
树莓派外壳：尺码表和照片
这道题让它给树莓派 5 做一个能 3D 打印的外壳。树莓派 5 是一块信用卡大小的电脑主板，四周一圈接口，外壳上的每个开孔都得对准。尺码表版把每个开孔的位置写成数字；照片版只给一句描述，开孔位置要它自己从官方图纸上读。
尺码表版做得好。两个入口各做两轮，一共 4 份交付，3 份完全合格。Kimi Work 两轮都过，它报的体积和本文的实测一致到小数点后三位，交付时还主动提出，先打一个小的公差测试件，试过再打整个外壳。
两轮各自的耗时，和公差测试件的提议
没过的那一份出自网页 Agent 第一轮：USB 口上方留了一层薄片，大约两张 A4 纸厚，会顶住接口，盖子盖不到底。它的说明里写的是“右侧 USB／网口开口同时切穿止口，不遮挡接口”。第二轮修改时，它把这处修好了，说明里没有提。
照片版的问题大得多。两个入口都写出了代码，也都做了一个能拆装演示的 3D 预览。但是两份外壳都插不进 microSD 卡；Kimi Work 那份的 USB 口还开低了 1.4 毫米，不到两张银行卡叠起来的厚度板子就放不进去。
预览产品页的效果，但核实后发现 microSD 卡插不进去
microSD 卡在图纸上没有标数字只画了一个轮廓。两个入口都按旁边一个标了数字的圆孔去开口，像裁缝把口袋缝到了旁边那颗扣子的位置。Kimi Work 用的就是本文提供的那份图纸；网页 Agent 的参考资料里放的是另一个版本的图纸，错法一模一样。网页 Agent 的自检记录还写着“外形与接口布局：最终视图与机械图对照，pass”，它的装入检查里恰好没有放 microSD 卡。
绿框是图纸上的元件位置，白色是外壳上的开口
也就是说在用它直接做 3D 打印设计时：如果是要装上的零件最好把关键尺寸写成数字；如果必须让它读图时，关键孔位最好自己对一遍图纸。
太和殿：工程师和美术
同一个人拿到施工图时像工程师，只听一句话时像设计师。太和殿这道题里 Kimi Work 两种样子都出现了。
题目是做一座能放在书桌上的太和殿打印模型，两种问法都在 Kimi Work 里跑。施工图版写明比例 1:350 和尺寸上限，要求按白、红、黄三种颜色拆成三个文件，方便多色打印；一句话版只点名八样形制：重檐庑殿顶、黄色琉璃瓦、红柱红墙、面阔十一间、三层汉白玉台基、栏杆、吻兽、走兽。
施工图版做了 3 小时 29 分钟，资料查得扎实。面阔、进深、殿高、台基高度、大吻尺寸、檐角走兽的数量，逐条对得上本文事先准备的参考表；它列的 3 个来源本文都打开核过，确实支持它写的数字。模型是它自己写代码一块块搭出来的，没有套用现成的模型。
工作了 3 小时 29 分钟，列了尺寸、连接方式和“尚未进行实物试打”，下方是它的预览图
问题出在它自己给出来的说明里面。说明写着三种颜色之间有“隐藏在内部的实体搭接”。它渲染的第一张预览图里，下檐的黄瓦之间就露着一排红点。我们量了一遍，前后两排一共 42 块，多色打印出来，就是黄屋顶上的两排红点。好比装修师傅说电线都藏进墙里了但是墙上露着一排线头。说明里还写月台“经过压缩”，模型里没有单独做出月台。
后来给的一句话需求版换了一种做法。它在电脑上自己装了一个专业 3D 软件 Blender，写脚本搭模型、配材质、架相机自查。点名的八样全部做到，还自己加了台阶、斗拱、彩画和一块匾；瓦垄、屋角起翘、卷尾的吻，这些细节都有。
左为施工图版，右为一句话版
这次的瑕疵是在比例上面。高度按一个比例，殿身按另一个比例，像美颜里的拉长腿，整座殿竖着高了两到三成。十一间开间一样宽，真实的太和殿正中那一间最宽。
以上测试有两点值得复盘：
第一，在 Kimi Work 里，同一个产品会按提示词换工具：写得细它就写代码；只给一句话它就打开 Blender。Kimi Work 在电脑上留下的任务目录里能看到它的建模脚本和一套自带的 3D 技能说明。官方说的“直接写脚本驱动 Blender 和 CAD 软件”。可惜的是网页版的 3D Make 入口这一轮没有用上。
第二，两座都露了红，一句话版的红点出现在它的彩色展示模型上。两份自检查的都是“有没有破洞、连没连在一起”，没有一项是从外面看，颜色露没露出来。
本文的判断：查资料、搭结构，它做得扎实；“像不像”“露没露”这类要用眼睛看的地方，它没有自己看。
用法：要尺寸准就得给施工图；要好看的摆件，也许一句话也能出效果，但是比例要自己把关；交付以后最好让它补一张俯视图，看有没有穿模。
同一套 3D 技能做的小西天坐佛
报的数字全对，造型做了简化（有点喜感）
04
修程序：它知道什么时候做不到
题目是一段火星着陆器的模拟程序，要它让着陆器稳稳落地。程序的物理部分故意写错了 4 处，相当于场地上画错了 4 条线，比如离地面很近时重力被算了两次。物理上不修正的话怎么开都落不稳。第一轮只许改驾驶手法，也就是控制器；第二轮允许改任何地方。
第一轮两个入口都没有闷头硬调。它们回头查了场地还给出了一个证明：就算按最有利的情况算，重量取最轻、油门踩到底，按这套写错的物理，落地速度也有每秒 1.87 米，规定是每秒 1 米以内，规则之内做不到。本文复算，结果一样。Kimi Work 停在了规则边界上，回复的最后一句是：“如果你允许修正 physics.py 中低空重复扣除重力的问题，我可以继续完成控制器调优。”
第二轮放开限制，两个入口都把 4 处错误全部找到、全部修对，没有乱改别的地方，也没有碰评分脚本，复跑全部成功，换一批没见过的新开局也几乎全部成功。Kimi Work 还在报告里提醒“部分工况裕度有限”。
所以官方说的回头查环境确实这一次做到了。更值得记下的是第一轮，它能说出“做不到”，还讲得清为什么。一个会证明自己做不到的执行者，比硬交一个凑合结果的执行者更值得托付。
05
做财报：342 个数字全部核对正确
给它泡泡玛特 2025 年年报和 2026 年中报的节选，做一个三张报表联动的财务模型，只许用附件；每个历史数字都要写明出自哪份报告第几页；预测部分每一格都要连着公式，拨动一个假设，整本账跟着动。
交回来的表里有 342 个历史数字，每个都标了页码。本文逐个翻回原文核对，全部对得上。预测部分的 351 个格子全是公式，没有一个手填的数。把毛利率拨高 1 个百分点，未来三年的利润自动跟着变，资产负债表依然对平。
假设也讲得出道理。它注意到去年下半年的基数高，预测今年下半年增速会放缓。它在交付说明里列了两处简化，分红按当年支付、上半年的股份回购没有放进预测，本文核对后属实。
财务模型的交付说明
不好的地方有一处：带页码的理由里，有一条把年报写成了中报。验收这边也出过错。预先写好的评分脚本看走眼两次，一次把同一行里不同期的出处配错了，一次把一行只有标题的空行当成了总数，人工核对后都翻了回来。验收的人也会错，人工那一步省不掉。
附加题问了 10 件不存在的事，比如爱因斯坦的第二个诺贝尔奖、2019 年的菲尔兹奖、一篇编出来的 NeurIPS 论文，像故意向路人打听一条不存在的街。它 10 题全部识破，还给出了正确信息：爱因斯坦只得过一次；菲尔兹奖四年一届，2018 年之后是 2022 年；那篇论文，它翻完会议的官方目录才说查无此文。它列的出处，本文逐条打开核对，都支持它的结论，只有一条引文的措辞来自页面的旧版本。这一轮允许它查资料，满分说明的是“查了以后不编”。
附加题的回答
官方“幻觉大幅减少”那一半，要靠财报研究笔记和不许查资料的附加题来验，这一轮还没考。
经过这次测试可以肯定的说数字和出处这种类型可以放心交给 K3.1 pro。让它做表时，要求每个数标出处、预测全用公式，复核起来很快；观点和结论类的文字，仍要自己核。
06
使用建议
只看数字处理的话它很可靠。泡泡玛特财务分析这一轮几百个能核对的数字，体积、成功率、财务数字、出处页码，只有两处引用小错。
3D 题里边暴露了一些瑕疵：
原因我们推测是在它的检查方式上。它查得到的问题会如实说：着陆器那题，它直说规则内做不到；太和殿交付时，它写明尚未进行实物试打。它没查的地方就写成了通过。它的检查偏向能算出来的东西，有没有破洞、尺寸对不对；要用眼睛看的东西，图纸上的位置、外面露没露色、比例像不像这些东西它没有查。
K3.1 Pro 使用建议
07
这一轮测完，笔者有几个判断。
第一，模型越强，核验其实越贵。常见的预期是模型能力上去了，我们就可以少点时间检查。但其实模型弱的时候错误又多又明显，我们只要看一眼就知道要返工。反而是模型强了之后十处里面九处都对，剩下那一处藏得更深，人也更容易放松想着 ok 大不了算了就这样吧。错误减少的速度赶不上人放松警惕的速度。
第二，模型擅长什么取决于谁给它打分。这一代模型的进步大多来自强化学习：在大量任务环境里反复尝试然后按结果打分。打分的多半是程序，比如测试过没过、数字对不对、文件能不能打开。程序能判断的事模型就练得好，因为有标准在那里；但是好不好看、像不像、合不合用这类程序判断不了的事，模型就只能凭感觉了。所以行业的能力边界很大程度上就是能不能自动打分的边界。下一阶段拉开差距的可能是谁能把更多难打分的活变成能自动打分的训练环境，模型参数的分量反而轻了。
第三，榜单上的强项，恰恰是最不需要我们关注的地方。能上榜的评测都得能自动判分，所以榜单天然集中在最容易核验的任务上。一个模型刷出来的高分说明的是它在本来就好检查的活上很可靠。真正需要人盯的那些活，至今没有像样的榜单（确实比较难量化）。如果照着榜单排名决定把什么活交给模型，很容易把顺序弄反了。
第四，任务完成的价值会贬值。现在每个 agent 交付时都会写“已完成”“检查通过”，用户很快会学会跳过这两个字。会计行业早就定下规矩：记账的人是不能给自己出审计意见的。作者猜测，模型行业接下来也会长出一层独立的验收。一种可能是厂商在交付里用统一格式写明查了什么、没查什么；另一种是出现专门做核验的第三方，像工程监理和产品质检那样。谁先把这一层做出来谁写的“通过”就更值钱。
如果把 K3.1 Pro 放进这些判断里看，会发现它已经站进第一梯队，碰到的问题在作者看来也是整个第一梯队共同的问题。11 月 4 日权重如期开放的话，这样的执行能力会进到更多人自己的机器上，验收的担子也会落到更多人身上，归根结底就还是看谁能更好的认识它，驾驭它。
点击关键词查看对应实测内容
月之暗面 Kimi
智谱 GLM
深度求索 DeepSeek
阿里 Qwen
字节跳动
更多测评
