你可能听说过GPT、Claude这些大模型能自己写代码、改bug、完成复杂的软件工程任务。但很少有人意识到,这些模型能做到多好,其实有一大半功劳不在模型本身,而在一个叫"harness"的东西上。
harness:可以理解为AI智能体的工作外壳,它负责管理对话轮次、调用各种工具(读文件、写文件、执行命令)、处理权限、保存会话状态、出错后怎么恢复、怎么判断任务完成。简单说,模型是大脑,harness是大脑连接双手双脚的那套神经系统。
这就引出一个很现实的问题。现在很多团队在做"递归自我改进":让AI智能体执行任务、观察结果、然后自己动手修改驱动自己的那套harness代码,改完接着干下一个任务,如此循环,指望它越用越聪明。听起来很美好,但这里藏着一个没人回答过的问题:如果AI自己写的harness本身就有问题,那所谓的"自我改进"岂不是在一栋地基不稳的楼上继续往上盖?
现有的评测体系对这个问题基本是失语的。你去看SWE-bench、Commit0这些主流的软件工程基准测试,它们考察的都是"AI能不能在一个固定的工具环境里把代码任务做好",harness本身被当成理所当然存在的背景板,从没被当作被评测的对象。这篇来自中国科学院计算技术研究所团队的论文Doc2Harness,第一次把这个背景板搬到了台前:不考"AI能不能用好harness",而是直接考"AI能不能自己造出一个靠谱的harness"。
这事到底难在哪
你可能会想,不就是写代码吗,现在的模型写个几千行的Python项目应该不在话下。
但harness这种东西有个很特殊的地方:它是最近几年才大量涌现、而且更新频率极高的新物种。像SWE-bench这类基准测试用的开源项目,很多都是存在多年、被反复讨论过无数遍的成熟代码库,模型很可能在训练时就"见过"类似的代码模式。但Claude Code、OpenCode、Cursor这些harness工具,大多是过去一两年才出现的,版本迭代飞快,模型想靠"背答案"是行不通的,这逼着它必须真正理解需求、自己设计实现方式。
还有一层更麻烦的地方。普通的软件工程任务通常有一个标准答案,单元测试一跑,过不过一目了然。但harness不是这样。同一个功能,比如"如何处理用户按下Ctrl+C中断",可以用十种不同的代码结构去实现,接口完全不固定,没有一个标准的函数签名能卡住所有正确答案。而且harness本身不像一个普通程序那样执行一次就能看到结果,它需要被一个模型实际"驱动"起来跑一整个会话,才能观察到它的行为对不对。
这就好比你要考核一个新来的保姆带孩子的能力。如果只是让她填一张育儿知识问卷,这测不出什么,真正的考核得让她实际带孩子过一天,观察她在孩子哭闹、摔倒、不肯吃饭这些真实场景里怎么处理。如果不这样做,你招进来的可能是一个理论满分、实操一塌糊涂的人。Doc2Harness的设计思路本质上就是这个逻辑:不看简历,看实操。
两阶段架构:先建房子,再让人住进去试
Doc2Harness把整个评测拆成两个彻底分开的阶段,这个拆分本身就是很关键的设计决定。
第一阶段叫构建阶段。被测的模型(论文里叫build model,即build模型)在一个固定的"脚手架"里工作,这个脚手架统一用开源工具OpenCode搭建,而不是用Claude Code或Codex CLI这类厂商自家的工具。
为什么要特意避开厂商自家工具?因为Claude Code是Anthropic自己做的,如果拿它当脚手架,测Claude系列模型时天然会占便宜,这不公平。用一个中立的第三方工具,相当于让所有参赛选手都在同一个篮球场上比赛,而不是让主场作战的队伍多蹭几个加时赛。
build模型拿到两样东西:一份开发文档,一份只有接口、没有实现的契约骨架。
开发文档:这是研究团队把十二个主流harness(Claude Code、Gemini CLI、Cursor、Aider等等)的用户文档扒下来,合并、消除歧义后写成的一份统一规范,相当于"所有harness该有的功能全集"。
契约骨架:精简自一个叫mini-swe-agent的开源项目,只保留了约七十行代码的接口定义,没有任何具体实现,模型得自己把血肉填上去。
model拿着这两份材料,在一个隔离的容器里干活,最多三次提交机会,每次提交会有一个"契约检查"把关,检查代码能不能跑起来、必需的命令齐不齐全、有没有留下占位符没写完。检查通过,这个版本就被冻结,叫做候选harness,以后再也不能改了;检查不过,打回去重写。
这个"冻结"的设计很有意思。它意味着最终被评分的,是模型自己觉得"我做完了"时的状态,而不是时间耗尽被强行叫停时的半成品。这和真实世界里一个工程师提交代码评审的心态是一致的:你提交的那一刻,就代表你认为这个东西过关了。
接下来是第二阶段,评估阶段。冻结后的候选harness被放进一堆全新的隔离容器里,每个测试用例一个容器,由一个"模拟模型"(mock model)按照预先写好的剧本去驱动它跑完整个会话。
mock model:不是一个真的会思考的AI,而是严格按照剧本逐字执行的"演员",它的每一步输入都是提前写死的,这样做是为了排除真实AI模型的随机性干扰,保证同一个harness被测十次,结果都完全一样。
为什么不用真的AI来驱动测试?因为真实的大模型本身就有不确定性,今天回答得好,明天换个说法可能就不一样了。如果用真实模型做裁判,你永远分不清一次失败到底是harness的问题,还是裁判模型自己状态不好。用剧本演员,相当于把变量锁死,只留下harness这一个被考察的对象。
四个观察窗口:怎么判断一次测试到底过没过
评估阶段怎么知道harness做得对不对?研究团队设计了四个观察通道:发给模型的请求内容、磁盘上生成的文件、程序退出时的状态码、命令行输出的文字。
这四个通道几乎覆盖了一个程序能对外暴露行为的所有渠道。比如测试"读取工作区外的文件是否被正确拦截",就看发给模型的请求里有没有混入不该出现的文件内容;测试"某个命令执行失败",就看退出码对不对。
但这里有个很隐蔽的陷阱,论文管它叫"虚假通过"(vacuous pass)。
举个具体例子。假设有个测试要检查:harness的读文件功能,碰到一个指向工作区外部的软链接时,应该拒绝读取,不能把外部文件内容泄露出去。测试跑完一看,发给模型的请求里确实没有出现那个外部文件的内容,看起来通过了。但这里有两种可能:一种是harness确实识别出这是越权访问,主动拦截了;另一种是这个harness的读文件工具压根就是坏的,不管读什么文件都读不出内容来,所以恰好也没有把外部文件内容带出来。
这两种情况得到的观察结果一模一样,但背后的含义天差地别。前者是真的做对了,后者是功能本身就是残废的,蒙对了而已。
为了堵住这个漏洞,研究团队设计了正向对照(positive control)机制。
正向对照:和正式测试用例共享同一个场景,但故意换一种不受限制的访问方式,用来验证"如果这个功能本该正常工作,它是不是真的能正常工作",如果对照本身都失败了,说明观测的前提条件就不成立,正式测试即便"通过"了也只能判定为失败。
还是刚才那个例子。正向对照会用同样的软链接,但换成另一种工具(比如命令行工具而不是文件读取工具)去访问,然后确认这条路径确实能读到外部文件的内容。如果连这个都读不出来,说明这个harness的工具本身就是坏的,之前那个"通过"是假的,必须判定为失败。
这就像医院做药物临床试验,不能只看吃了药的病人有没有康复,还得设一个对照组确认"这个病如果不吃药也会自愈"的可能性被排除了。如果不设对照组,你永远不知道病人康复到底是药起作用了,还是他本来就会自己好。正向对照干的就是这个活:确认"看起来好了"真的是因为做对了,而不是碰巧蒙对的假象。
研究团队还设计了三类不同的正向对照,分别用来排除"工具结果压根没传到被观察的通道"、"换个访问方式本来就会失败"、"实现方式是一刀切地拒绝所有类似输入"这三种不同的虚假通过来源。整套测试用例里,328个测试用例中有130个配了至少一个正向对照,覆盖率不低。
测试用例是怎么造出来的:三条路径交替挖掘
光有判断对错的机制还不够,测试题本身得够多、够狠,才能真正把模型的差距挖出来。研究团队用了三种方法循环迭代。
第一种叫公开问题挖掘。他们从Claude Code、OpenCode、Gemini CLI、Kimi Code这几个成熟harness的开源仓库里,把所有公开的issue(用户反馈的bug和问题)都爬下来,一共两万一千多条。
这个思路背后有个假设:既然大模型是靠学习人类写的代码训练出来的,那么成熟harness这些年踩过的坑,和AI自己写harness时大概率会踩的坑,很可能是同一类坑。与其凭空想测试题,不如去翻真实世界里人类开发者摔过的跟头。
这就好比一个驾校教练设计科目二考题,与其自己拍脑袋想"学员可能在哪里犯错",不如去翻过去十年所有学员的挂科记录,看看大家普遍栽在哪个弯道上。如果不参考真实数据,凭空想出来的考题很可能和实际驾驶中真正的风险点对不上。
第二种叫跨harness对比。拿一个候选harness和某个成熟的参考实现(比如Kimi Code)做对照,把代码按功能模块拆开,一个模块一个模块地比,看看候选harness缺了什么功能、哪些边界情况处理得不一样。
第三种叫单变量扩展。拿一个已经证明有效的测试用例当"种子",每次只改动一个变量,可能是换个工具、换个输入形式、换个参数、换个结果出现的位置,生成一批新的变种测试。比如测试路径逃逸这个场景,种子用例可能用的是指向文件的软链接,变种就可以换成指向目录的软链接、多层嵌套的软链接、相对路径的软链接,逐步把这个漏洞点挖得更深。
这三种方法轮着用,哪种边际收益下降了就换下一种,这种工程化的测试设计思路,本身就值得单独说一说,因为它回答了一个很实际的问题:几百个测试用例,到底怎么保证既不是拍脑袋编的、也不是漫无目的地堆数量。
最终整套题库定格在328个测试用例,分成九个互不重叠的类别:会话状态、文件操作、权限管理、无头模式(不带交互界面运行)、直接驱动、交互式终端、产物检查、启动流程、扩展发现。
十九个模型同台竞技:谁赢了,差距有多大
研究团队拿这套题库测了来自十一家厂商的十九个前沿模型,包括Claude Opus系列、GPT系列、Qwen、DeepSeek、GLM、Grok、Kimi等等,每个模型独立构建三次候选harness,取平均分。
结果很说明问题。
表现最好的GPT-6 Astra拿到了53.05%的通过率,表现最差的Hy3只有27.44%,中间差了将近二十六个百分点。
这个数字怎么理解?先说一个反直觉的地方:即便是目前最强的模型,面对这套测试,也有将近一半的题目做不对。这说明harness工程这件事,远没有被现有的AI能力"做饱和"。换句话说,这不是一道送分题,如果换一批更新更强的模型来测,分数大概率还能继续往上涨,题库本身还有很大的区分空间。
再看第二名和第三名之间的较量。Opus 5以46.65%排第二,Qwen3.8 Max以45.83%排第三。但有意思的是,在"常规场景"里Opus 5反而领先GPT-6 Astra(80.68%对72.46%),一旦换成"边界场景",GPT-6 Astra就反超了(48.97%对37.02%)。这说明两个顶尖模型的差距不在于"会不会写功能",而在于处理那些刁钻的、容易被忽略的边角情况的能力。
这就好比两个厨师都能做出一道色香味俱全的招牌菜,但真正拉开差距的,是遇到客人说"不要放葱"或者"过敏体质不能放花生"这种特殊要求时,谁能不出岔子。常规菜谱大家都会背,真正见功力的是处理例外。
哪类功能最能看出模型的真实水平
九大类测试用例里,不同类别的区分能力天差地别。
权限管理这个类别最能拉开差距,模型之间的最高分和最低分能差出50.8个百分点,61道题里有51道属于"有区分度"的题,也就是说,不同模型在这道题上表现各不相同,能真正看出谁强谁弱。
反观交互式终端这个类别,平均通过率已经高达79.9%,已经接近饱和,所有模型在这块都做得不错,很难用它来分高下了。
更值得注意的是,328道题里有56道是所有模型全军覆没的,不管哪个模型来做,一道都通不过。这些"全军覆没"的题目集中在直接驱动、会话状态、权限管理和无头模式这几个类别,说明这些地方藏着当前所有模型共有的能力短板,不是某一家厂商的问题,而是整个行业目前都没迈过去的坎。
另外一个很反直觉的发现是:同一个模型在不同类别里的排名,波动幅度可以达到十六个名次。比如Grok 4.7在"文件操作"这个类别排第一,但在"会话状态"这个类别只排到第十一;Opus 4.6在"直接驱动"排第三,到了"权限管理"却掉到第十九。
这听起来好像在说"每个模型都有自己的偏科方向",但研究团队进一步算了相关性发现,六大主类别两两之间的相关系数全部是正的,平均高达0.521,说明模型之间的差距更多是整体实力的高低,而不是各自专精不同领域。排名的大幅波动,更像是同一个"综合能力"在不同考题上被放大或缩小的结果,而不是真的存在"偏科生"。
代码架构透露的秘密:模块切得越碎,分数越低
研究团队还干了一件挺有意思的事:把57份被打分的候选harness源代码全部扒出来分析。
首先一个直观发现,代码规模主要取决于是哪个模型写的,而不是同一个模型三次构建之间的随机波动。比如Qwen3.8 Max平均写出16681行代码,而GPT-5.5平均只写1271行,差了十几倍。但同一个模型自己三次构建之间的差异系数平均只有12.7%,远小于模型之间60.1%的差异。这说明"写多少代码"更像是模型的一种"性格特征",相对稳定。
但代码量和分数的关系没那么简单粗暴,相关系数只有0.614,说明写得多不一定做得好。
真正让人意外的发现藏在另一个维度:模块数量。
研究团队发现,在控制了代码总量之后,一个候选harness里切分出的模块越多(也就是代码文件越分散),得分反而越低,偏相关系数是负的0.423。反过来,平均每个模块承载的代码行数越多(说明相关功能被集中写在一起,而不是零散地撒在很多小文件里),得分就越高,偏相关系数是正的0.504。
论文把这个现象归结为"跨功能逻辑被拆得太散"。举个例子,权限检查这种需要在读文件、写文件、执行命令好几个地方都要生效的横切功能,一旦模型把这个逻辑拆成好几份,分别塞进不同的模块文件里,很容易出现有的地方漏掉了检查、有的地方检查逻辑和别处不一致的问题。
这就像一家公司的门禁系统。如果公司只有一个总前台负责所有人员的身份核验,制度统一、漏洞容易堵;但如果每个楼层、每个会议室都各自搞一套门禁规则,由不同的部门各自维护,时间一长必然有的楼层规则松、有的严,黑客找到一个薄弱环节就能绕进去。模块拆得越细,统一管理横切关注点的难度就越大,出漏洞的概率自然水涨船高。
研究团队还用了一个叫KR-20系数的统计指标(一种衡量测试内部一致性的常用方法,数值越接近1说明题目越像是在测同一种能力)来验证这套测试题的可靠性,算出来是0.913,说明这328道题确实比较稳定地在衡量同一种"harness工程能力",不是东一榔头西一棒子的拼凑。
这套评测方法还没解决什么问题
研究团队自己也坦承了这套方法的局限。
最主要的一点是,这个评测只测了"一次构建"的结果。整个流程最多给模型三次提交机会,但不是一个"做完给反馈、根据反馈再改"的迭代循环。契约检查只管"代码能不能跑、接口全不全"这种形式上的东西,不检查实际行为对不对,所以模型什么时候提交、提交得早不早,会直接影响它最终能拿到的修改机会,早提交的模型测出来的分数,更像是一个保守的下限,而不是它能力的天花板。
另外,因为很多测试用例是从同一个种子通过"单变量扩展"衍生出来的变种,它们之间天然存在相关性。如果candidate harness在某个底层逻辑上有一个bug,很可能会连带好几个相关的变种测试一起挂掉,而不是独立地各自失败。这意味着表面上看起来"失败的题目很多",但背后的根本原因可能只是少数几个关键缺陷。
写在后面
读完这篇论文,最触动我的其实不是排行榜本身,十九个模型谁第一谁垫底,过阵子就会被新一代模型刷新,而是那个"模块拆分和得分负相关"的发现。
这个结果某种程度上戳破了一个很容易被忽视的误区:我们总以为AI写代码,代码量越大、模块划分越精细就代表越"工程化",越像人类高级工程师的手笔。但这篇论文用数据说明,至少在harness这种需要横切关注点(权限、日志、会话状态这些要在多处同时生效的逻辑)大量存在的场景里,过度模块化反而是一种风险信号。它可能意味着模型没有真正理解这些功能之间内在的耦合关系,只是机械地把文档条款对应成了一个个独立文件,而没有想清楚"这些规则其实需要在同一个地方被统一执行"。
另一个让我反复琢磨的细节是正向对照这个设计。它本质上是在提醒我们,任何自动化评测系统都存在"看起来对了,其实是蒙对了"的风险,尤其是那种"要求某个东西不出现"的测试,太容易被一个干脆什么都不做的糟糕实现蒙混过关。这个思路其实不止适用于harness评测,任何涉及"验证某个负面结果"的质量检测场景(比如安全测试里的"不应该泄露敏感信息"),都该先问一句:我的测试系统本身,有没有能力分辨"真的防住了"和"压根没触发"这两种情况?
Doc2Harness测的是AI能不能给自己造一套称手的工具。而工具这东西,历来都是文明进化最底层的那块基石,人类用石器时代的石斧造出了后来的青铜器,用蒸汽机的原理造出了内燃机。当AI开始尝试给自己打造工具,它打造出来的东西靠不靠谱,决定的或许不只是下一个任务做得好不好,而是这整条自我迭代的链条,到底是在往上走,还是在原地打转。
Q&A
Q1:Doc2Harness评测的是什么?
A:Doc2Harness是一个评测大模型能否自主构建AI编程智能体工作环境(harness)的基准测试,它让模型根据开发文档和接口骨架独立搭建一个完整的harness,再用脚本化的模拟模型驱动它跑328个测试用例来打分,而不是像传统基准那样只考察模型在固定工具环境下完成任务的能力。
Q2:Doc2Harness测试结果中表现最好和最差的模型差距有多大?
A:表现最好的GPT-6 Astra通过率为53.05%,表现最差的Hy3只有27.44%,两者相差约26个百分点。值得注意的是,即便是最强模型也有接近一半的测试用例没通过,说明这套评测还远未被现有AI能力做饱和。
Q3:为什么代码模块拆得越细,候选harness得分反而越低?
A:研究发现在控制代码总量后,模块数量越多、得分越低,偏相关系数为负0.423。原因是权限检查、会话状态管理这类需要在多处同时生效的横切功能,一旦被拆分到不同模块里分别实现,很容易出现遗漏或逻辑不一致的问题,导致整体行为不可靠。







