作者：田小幺
编辑：李宝珠
转载请联系本公众号获得授权，并标明来源
读一张建筑平面图，房间的用途可以从文字标注中得知，空间布局和尺寸则要结合线条与比例来判断。如果任务是审查建筑方案，专业人员还得对照规范核实图纸，再把判断依据写进报告。如今，多模态 AI 已经能够回答许多关于单张图像的问题。当线索分散在图纸、表格和文档中，智能体能否自行找到相关信息，并据此完成一份经得起核查的专业报告？
Google DeepMind 推出的多模态知识智能体评测基准（MKA），将这段从读图到交付成果的过程纳入了测试。研究人员邀请领域专家设计了 200 项专业任务，要求智能体自行查阅资料、调用工具，并按职业场景的要求提交成果。结果显示，4 个参评模型在上一代模型已能稳定满足的要求上得分均超过 95%，而在其余更具挑战性的要求上，最高加权满足率为 56.6%。
相关研究成果为「MKA: Evaluating Multimodal Knowledge Agents on end-to-end professional tasks」。
论文地址：
https://hyper.ai/papers/mka_tech_paper
覆盖 83 种职业的 200 项任务
MKA 的正式评测集涵盖建筑、工程、金融、医疗、法律与政府等 10 个领域，每个领域各有 20 项任务。出题人均有至少 5 年相关从业经验，负责整理工作所需的资料，亲自完成一份参考成果，并写明判定依据，再交由另一位具有相同岗位背景的专家复核。为降低测试内容提前进入模型训练数据的可能，正式评测集保持非公开。研究人员另行发布了 10 道示例题，每个领域各有一道，读者可以看到完整的任务说明、原始文件和评分细则。
200 项正式任务覆盖的 10 个领域，每个领域各有 20 项任务
其中一道示例题要求智能体为市议会筛选适合安装屋顶光伏的建筑。题目给出 9 份资料，第一步就需要读图：智能体要从一张未标注地名的地图上辨认出英国诺丁汉市，才能确定分析范围。随后，它要将市议会资产登记表与地图上的建筑轮廓对应起来，结合激光雷达高程、太阳辐照度和历史遗产保护信息，按规定条件选出排名前五的建筑，提交一份附有地图的报告。即使光照数据计算无误，只要把资产登记表中的一栋建筑匹配到了错误的屋顶，最后的推荐名单就可能出错。
三项公开示例分别展示人力规划、屋顶光伏选址和工程课件制作
正式评测集共使用 1,459 份文件，每项任务涉及 2 至 45 份，平均为 7.3 份。其中，PDF 占 43.0%，既包括便于提取文字的合同和监管手册，也包括依赖线条、比例和标注表达信息的工程图纸。图像与扫描件占 22.9%，其余资料包括电子表格、演示文稿和地理空间数据等。
1,459 份输入文件的格式分布，统计单位为文件
不同岗位对成果也有不同要求。200 项任务中，只有 24 项允许直接用文字作答，其余 176 项都需要制作或修改独立文件，如含有公式的财务工作簿、附有工程判断的评估报告或用于授课的演示文稿。
200 项任务的主要交付形式，统计单位为任务
智能体自主查阅资料，评分器同时核对页面与文件结构
面对这样一组文件，先读哪一份、何时需要看图、哪些数据适合交给代码处理，都由智能体自行决定。研究人员将已有多模态模型接入同一套开源框架 Stirrup，无需针对 MKA 额外训练。任务开始时，模型只收到工作说明和文件路径。处理一份工程 PDF 时，它可以先提取文字以定位相关章节，再把图纸所在页面转成图像，查看尺寸标注和部件之间的位置关系。报告完成后，它也可以用同样的方法核对输出，检查图表是否完整、排版是否影响阅读。所有模型使用相同的工具和资源限额，每项任务最多运行 250 轮，限时 8 小时。
如何评价提交的文件，同样涉及视觉判断。以电子表格为例，查看页面可以发现图表是否缺少标签、较宽的工作表是否被截断，却难以判断单元格里的数值是如何算出的。为兼顾这两类要求，研究人员使用 GPT-6 Luna 担任自动评分器，让它在独立的离线环境中查看渲染后的页面，并通过代码读取公式和文件结构。评分器依据任务说明、最终答复和提交文件进行核验，无需重新分析作答时的原始资料。领域专家共编写了 14,284 条评分标准，其中 99.6% 附有参考判据，包括预期数值、允许误差或文件应具备的具体属性。评分器据此逐条给出判断，并说明理由。
每项任务平均有约 71 条评分标准，遗漏一个图表标签与算错影响最终结论的数值，后果并不相同。专家按重要程度为各条标准赋予 1 至 5 的权重。计分时，先计算一项任务中已满足标准的权重占比，再对各项任务等权取平均，得到总体加权满足率（Overall WSR）。
总体得分反映交付质量，但一些已有模型普遍能做到的要求，对区分前沿模型的能力帮助有限。为此，研究人员先让 4 个上一代模型分别完成 3 轮测试。如果一条标准在每个模型的 3 次运行中都至少有 2 次得到满足，就归入「回归项」，用于检验已有能力是否保持。共有 6,396 条标准符合这一条件，其余 7,888 条归入「攻坚项」。攻坚项加权满足率（Climb-WSR）衡量的是模型在这些较难要求上的表现，计分单位仍是任务中的具体要求。
攻坚项最高得分为 56.6%
在比较模型之前，研究人员先检验了自动评分与专业人士的判断有多接近。他们从 9 个领域选取 50 项任务，每项请 3 位领域专家在不知道作答模型身份的情况下，独立审阅同一份成果。对于抽查的高权重标准，评分器与专家的判断一致率为 96.2%，专家之间的一致率为 99.8%。有些分歧来自对「答对」的理解。例如，一份报告虽然列出了正确的备选数值，最终采用的却是错误结果，评分器仍有可能判为通过。由于这次核验侧重事实、计算和文件结构等较重要的要求，96.2% 的一致率能否同样适用于低权重的格式细节，还需另行检验。
50 项任务中，自动评分器与专家对高权重标准的判定一致率为 96.2%，专家之间为 99.8%
正式测试中，4 个模型在回归项上的得分均超过 95%，攻坚项则更能体现差异。Claude Fable 5.2、Gemini 4 Carbon、Claude Opus 5.5 和 GPT-6 Astra 的攻坚项得分依次为 56.6%、54.3%、53.0% 和 50.2%。尽管 Fable 得分最高，前三款模型之间的差异并未达到统计显著。相比之下，Fable 和 Carbon 的得分均显著高于 Astra。
四款模型的交付质量与计算用量
交付质量相近，完成工作的时间和费用却可能相差很大。Fable 与 Carbon 的总体得分分别为 73.3% 和 71.9%。Fable 平均每项任务运行约 129 轮，耗时 83.2 分钟，Carbon 则约为 47 轮、29.2 分钟。Fable 的总词元用量约为 Carbon 的 5.7 倍。按论文采用的公开价格并计入提示词缓存，两者完成一项任务的平均 API 费用分别为 35.28 美元和 5.63 美元。Astra 平均每项只需 18.5 分钟，是四款模型中最快的，其攻坚项得分也最低。
攻坚项得分与平均每项任务的总词元用量
上述比较衡量的是整项工作的表现。要单独判断直接看图起了多大作用，研究人员又在 Carbon 上做了一组对照实验：关闭图像查看工具，同时保留文字识别、代码执行和图像处理能力。在另一项专业工作评测 GDPval 上，关闭工具前后的总体得分分别为 88.1% 和 88.2%，几乎没有变化。同样的改动在 MKA 上却使总体得分下降了 4.58 个百分点，攻坚项得分下降了 5.94 个百分点。与此同时，平均交互轮数增加了 28%，输出词元增加了 40%。
额外的计算花在了哪里？从运行记录看，失去直接看图的能力后，Carbon 会编写脚本测量机械图纸上的尺寸，有时还会把局部图像转成字符图，借此辨认部件的位置。这些方法能从线条清晰的图纸中恢复主要几何关系，却容易漏掉细小的间隙。
机械 CAD 图与模型用代码生成的点阵图
遇到道路巡检照片或医学影像，反复调整脚本也未必能辨清局部特征。在论文分析的部分案例中，关闭图像查看工具后，攻坚项得分下降了约 34 至 72 个百分点。
道路巡检现场照片与按亮度生成的字符图
两套评测对同一改动的反应之所以不同，与完成任务所需的信息有关。GDPval 的许多关键信息可以从文本和表格中直接提取，而在 MKA 中，有些决定结论的细节只存在于图像里。
写在最后
MKA 把读图放回了它在专业工作中实际发生的位置。一处部件间隙有没有看清，最终体现在工程报告是否指出了相应风险；一栋建筑有没有匹配正确，关系到它是否应该出现在光伏选址名单上。衡量智能体能否胜任这些工作，既要看它能从图中读出什么，也要看这些信息能否准确进入后续计算和最终判断。目前，每个模型对每项正式任务只作答了一次，关闭图像查看工具的实验也仅在 Carbon 上开展。对于专业应用而言，仍待检验的是，同一项工作重复交给模型时，那些足以改变结论的细节能否被稳定识别。
