Token导航 LogoToken导航

AI 资讯 · 科技行者

普林斯顿SWEeper-Bench测试:AI编程难自检bug

更新 2026-11-17科技行者正文 6596字阅读约 21分钟

你有没有遇到过这种情况:请一个很能干的朋友帮你装修房子,他干活又快又好,墙刷得平整,柜子装得结实,可装完之后他就走了,从不回来检查一下窗户关不关得严,插座是不是装反了。

直到你半夜被漏风的窗户吵醒,才发现问题。

这差不多就是现在AI编程助手的真实处境。普林斯顿大学的研究团队做了一个叫SWEeper-Bench的测试,结果显示,就连最顶尖的AI模型,在没人告诉它哪里有bug的情况下,自己去找出软件里的问题,成功率也只有59%。而如果有人把bug直接写清楚告诉它,它修复的成功率能冲到96%以上。

这中间差了37个百分点,这个数字说明了什么,值得好好聊聊。

AI能干活,但不会自己验收活干得怎么样

现在的AI编程工具,比如Codex、Claude Code这些,已经能根据一句话指令,几分钟内搭出一个完整的网页应用:带注册表单、共享日程表、预算追踪器,直接发给几十个同事用。

这事听起来很美好,直到你发现一个麻烦:这些软件的bug往往不是一眼就能看出来的,而是要经过好几步操作才会暴露。

论文里举了个例子特别形象。有个叫Focalboard的项目管理工具,用户A创建了一个看板,分享给用户B,这个过程看起来一切正常,A退出登录都没发现任何异常。可当B登录自己的账号时,会发现侧边栏里根本没有这个被分享的看板,虽然他技术上已经是这个看板的成员了。

这个bug藏得有多深?研究者统计过,要复现它需要连续九个步骤,还要在两个不同的账号之间来回切换。根本原因其实简单到让人哭笑不得:添加成员这个操作,只是把"谁是成员"这件事存进了数据库,却忘了把这个看板放进新成员侧边栏默认显示的那个分类里。

一行代码的疏漏,藏在九个步骤的操作链条背后。

这正是问题的核心。

现有的衡量AI编程能力的测试,比如大家熟知的SWE-bench,全都是先假设有人已经发现了bug,把问题描述清清楚楚地递给AI,然后看AI能不能修好它。这就好比考驾照只考怎么把车从A点开到B点,却从来不考你能不能先注意到前面有个坑。

SWEeper-Bench这个新基准测试,反过来问了一个此前没人正经问过的问题:如果什么都不告诉AI,只给它一个大致的方向,比如"去检查一下Focalboard的看板分享和成员管理功能有没有问题",AI能不能自己把那个藏在九步操作背后的bug给揪出来?

这事到底难在哪

研究团队从200个真实的开源网页应用里,各挑了一个真实发生过的bug修复记录,拼成了这200个测试任务。这些应用横跨七个领域,从内容管理工具Ghost,到财务软件Maybe,再到电商系统Bagisto,中位数的项目在GitHub上有4600颗星,都是实打实有人在用的东西。

每个任务给AI的,只有两样东西:一份有bug的源代码,以及一句话的开放式请求,比如前面提到的"检查一下看板分享功能"。AI不知道哪里出了问题,不知道代码藏在哪个文件,也不知道该怎么复现这个问题。它拥有的是一个完整的沙盒环境:能跑起来的应用实例、命令行工具、还有一个装了Playwright的浏览器,可以像真实用户一样点点点。

Playwright:一种自动化浏览器操作的工具,可以让程序模拟人类点击、输入、滚动等操作,常用于测试网页功能是否正常。

AI要做的事情,其实和一个产品经理在新功能上线前做"探索性测试"没什么区别:自己猜测用户会怎么用这个功能,自己设计测试场景,自己动手跑一遍,然后自己判断"这样对不对"。

判断对不对这件事,恰恰是最容易被低估的难点。

怎么判断AI修对了:让另一个AI当真实用户

这里有个很实际的问题:谁来评判AI修的bug是不是真的修好了?

传统做法是用"隐藏单元测试",也就是预先写好一套检查代码内部状态的测试脚本,跑一遍看结果对不对。但这套方法有个硬伤:它检查的是代码内部的某个变量是不是等于某个值,而不是用户实际在浏览器里看到的东西是不是对的。如果AI用了一种不同但同样正确的方式修复了bug,这种测试反而会误判为失败。

隐藏单元测试:事先编写好、不展示给被测试对象的测试脚本,通常用来检验程序内部状态或某个函数的返回值是否符合预期。

SWEeper-Bench的做法是找另一个AI当裁判,这个裁判AI不看源代码,只负责打开浏览器,像真实用户一样一步步操作,然后根据肉眼能看到的结果判断通过还是不通过。

比如前面说的Focalboard的例子,裁判AI会严格按照九个步骤操作:先用用户A登录,创建一个看板,分享给用户B,退出登录,再用用户B登录,刷新页面,最后只盯着侧边栏看那个被分享的看板到底出现了没有。全程不许偷看数据库,不许用开发者工具查网络请求,只认肉眼可见的结果。

这就好比餐厅请了一位神秘顾客,这位顾客不会跑到厨房去检查食材新不新鲜,他只在乎端到桌上的那盘菜,味道对不对,摆盘整不整。如果不这样设计,只靠后厨自己说"我按配方做的,肯定没问题",那端上来的菜难吃了也没人知道,因为检验标准和顾客的真实体验完全脱节。

为了确认这个AI裁判靠不靠谱,研究者专门做了交叉验证:让裁判AI分别检查"确实有bug的旧版本"和"已经修复好的新版本",理想情况应该是旧版本几乎全部判定不通过,新版本几乎全部判定通过。结果显示,三种不同的裁判配置,误判率都控制在1个百分点以内,相当稳定。

成绩单出来了:59%,远没到及格线

研究团队测试了15个主流AI智能体,包括Grok、Claude、GPT系列、DeepSeek、Qwen等等。每个智能体是模型加上运行框架的组合,就像一个大脑配上一套手脚。

结果排名第一的是Grok 4.6,配合Cursor框架,通过率59.0%。第二名Qwen 3.8 Flash是57.5%。再往后,包括Claude、GPT-6在内的几个顶尖模型都停在56.5%左右。而排在后面的九个智能体,通过率连50%都够不上,垫底的Qwen 3.8 Max只有28.0%。

更有意思的是花费和效果不成正比。Grok 4.6平均每个任务只花12分钟,成本6.41美元;Qwen 3.8 Flash平均要跑102分钟,但成本反而更低,只要0.76美元;而Claude Opus 5花了25美元一个任务,成绩和花三分之一价钱的Claude Fable 5.1几乎一样。

这说明砸钱、砸时间,未必能换来找bug能力的提升。

研究者还专门测过"工作时间越长是不是效果越好"这个问题,给三个模型设置了20分钟、40分钟、60分钟、80分钟四档时间预算。结果是通过率从20分钟涨到40分钟确实有提升,但再往后就停滞了,甚至有轻微波动。

这就像让一个人去找自己家里漏水的地方,给他20分钟可能走马观花漏看了,给他40分钟认真检查一遍能找到大半,但给他再多的时间,如果他本身没有意识到要去拧开水龙头底下的阀门看看,再多站在原地发愣八个小时也没用。时间不是瓶颈,方法才是瓶颈。

卡在哪了:AI能走到门口,却认不出门后的问题

研究团队把每个AI的工作过程拆成了五个连续的阶段,逐个分析卡在哪里。这五个阶段依次是:找到问题所在的功能区域、触发并识别出异常行为、诊断出根本原因、修复问题、确保没有破坏其他功能。

平均来看,75.4%的尝试能顺利找到正确的功能区域,这个比例还算不错。但紧接着,能识别出"这里确实有问题"的比例骤降到50.0%,这是整条链路里跌得最狠的一环。再往后,能诊断出真正根因的剩下43.8%,最终修好且没搞坏别的功能的,只剩40.8%。

这个最大的落差出现在"识别buggy行为"这一步,比找到功能区域和诊断根因都更致命。研究者给出的解释特别真实:很多时候AI确实点到了那个出问题的地方,眼睛看到了异常的画面,但它没有把这当成一个bug。

论文里有个对比特别值得细说。四个不同的AI智能体,在Focalboard这个案例上,全都走到了"用户B登录后侧边栏空空如也"这个画面。但接下来四个AI的反应完全不同。

Claude Fable 5.1看到空侧边栏后,顺着往下查,发现侧边栏只会显示属于某个分类下的看板,再发现加入看板这个操作压根没把看板放进任何分类,于是判定这是bug,动手修了。GLM 5.3更干脆,一看到空侧边栏立刻就反应过来"这不对",直接去追踪代码里AddMemberToBoard这个函数,顺藤摸瓜把问题定位准确。

但Claude Opus 5看到同样的空侧边栏,却去查了现有的单元测试代码,发现这些测试里压根没检查过侧边栏要不要更新,于是它推理出"这应该是故意设计成这样的,不是bug",干脆没有修。GPT-6 Astra则是看到空侧边栏之后一声不吭地走开了,转头去研究分享对话框里的权限列表,最后修了另一个权限相关的问题,把眼前这个真正的bug给放过了。

同样一双眼睛看到同样的画面,得出了四种不同的结论。这说明看见不等于看懂,这中间差的那一步,恰恰是现在AI最薛弱的环节。

这里藏着一个挺尖锐的反思:当现有的单元测试本身就是按照有bug的行为写出来的,AI反而会把这些测试当成权威依据,得出"这是设计好的,不是漏洞"的错误结论。本该用来验证正确性的工具,反倒成了掩盖错误的理由。这就像一本写错的说明书,反而让后来的检查者相信错误的操作才是标准流程。

AI不会主动打开浏览器,除非你命令它这么做

研究团队做了一个很直接的对照实验:把提示语里"请像真实用户一样打开浏览器测试"这句话删掉,其他什么都不变,看AI会不会自己想到要去浏览器里点一点。

结果令人意外。GPT-5.6 Luna在200个任务里,只有2次主动打开了浏览器。GLM 5.3稍微好一点,也只有6次。而只要提示语里明确要求"去浏览器里测试",这两个模型就100%会照做。

缺了这句提醒,通过率立刻从42.0%掉到39.5%,从43.5%掉到31.5%。

这个发现挺值得琢磨的。AI擅长的是读代码、跑命令、发请求,这些都是它熟悉的工作方式,而真正像一个普通用户那样坐在屏幕前点点点、看看效果,反而不是它会主动选择的路径。它知道怎么写代码,但不太会主动代入"用户视角"这件事,除非被明确要求这么做。

这就好比一个经验丰富的厨师,给他一份食谱,他能精准地按步骤把菜做出来,但你没提醒他,他未必会想到要先自己尝一口咸淡再端上桌,因为他的专业训练让他更关注步骤对不对,而不是最后吃到嘴里感觉如何。

发现问题比解决问题难得多

最能说明问题的,是研究团队做的另一组对照实验。他们挑了五个模型,给它们换了一套"详细版"提示语,把具体bug是什么、期望行为应该是什么都写清楚,相当于给了一份现成的bug报告。

结果所有五个模型的通过率一下子冲到了96%到96.5%之间,原本相差十几二十个百分点的几个模型,这时候几乎变成了同一水平线。拿GPT-5.6 Luna来说,它浏览器打开的次数中位数从26次降到14次,改动的代码行数中位数从49行降到13行,整个工作流程都变得又快又准。

这个对比说明一件挺有意思的事:现在的AI在"修bug"这件事上已经相当成熟,真正卡住它们的,是"发现bug"这一步。换句话说,如果把软件开发比作医生看病,现在的AI已经是个很厉害的外科医生,刀法又快又准,但让它自己先去给病人做体检、找出哪里出了问题,它的表现就明显逊色很多。

框架重要,但模型本身更重要

研究者还单独测了同一个模型换不同运行框架会怎样。把GPT-5.6 Luna分别放进Codex、Cursor、Kimi Code、Claude Code、Muse Code五套框架里跑,结果通过率在35.0%到42.5%之间波动,表现最好的是它自己的原生框架Codex。

这说明一个趋势,给模型配上和它适配度最高的工具,确实能让它表现更好一点,但框架带来的提升幅度有限,真正决定上限的还是模型本身的能力。这和开车有点像,同样一台发动机,配上更顺手的变速箱确实能开得更稳,但发动机马力不够,再好的变速箱也救不回来。

对比表格:谁跑得又快又准

研究团队给出了详细的成绩单,这里挑几个关键数字说清楚。排名第一的Grok 4.6配合Cursor框架,通过率59.0%,目标测试通过率59.0%,保留测试通过率100.0%,平均耗时12.3分钟,成本6.41美元。第二名Qwen 3.8 Flash配合Codex,通过率57.5%,但耗时飙到101.8分钟,成本却更低,只要0.76美元。Claude Fable 5.1和Claude Opus 5并列56.5%,但成本相差一倍以上,分别是11.76美元和25.01美元。垫底的Qwen 3.8 Max只有28.0%的通过率,成本2.51美元,属于又慢又不准的那一档。

值得留意的是,几乎所有模型的"保留行为测试"通过率都稳定在97.5%以上,这说明AI很少会在修复过程中把其他正常功能搞坏,它们的短板不是粗手粗脚,而是压根没找到正确的目标。

这事会往哪个方向发展

论文作者提到了两个值得追的方向。一是把AI审查代码变更的能力和实际跑起来测试的能力结合起来,现在市面上已经有不少代码审查工具,比如Cursor的Bugbot、GitHub Copilot的代码审查功能,但它们大多只分析代码差异本身,不会像SWEeper-Bench要求的那样真的把软件跑起来、像用户一样操作。二是如何让AI从现有测试代码里跳出来,不被已有的、可能本身就错误的测试逻辑带偏判断。

三年前的SWE-bench系列测试解决的是"给定bug报告,AI能不能修好",之后陆续出现了针对视觉问题的SWE-bench Multimodal、针对多语言场景的Multi-SWE-bench等等变体,这些工作都在不断加大修复任务本身的难度。而SWEeper-Bench换了个方向,它不再假设bug报告已经存在,直接把"找bug"这件事本身纳入了考核范围,相当于把整条生产链路往前推了一步。

还有一类更早的工作叫WebProber,让AI像用户一样探索网站并报告可用性问题,但它只停留在"报告问题"这一层,没有要求AI接着去把问题修好。SWEeper-Bench把发现和修复这两件事串联到了一起,要求AI从头走到尾,全部自己搞定。

写在后面

读到那个Focalboard的例子时,最让我愣住的不是bug本身,而是四个AI看到同一个空侧边栏之后给出了四种截然不同的判断。这说明一件事,看见问题和承认问题是两种能力,后者涉及的是判断力,而判断力恰恰是最难靠堆算力解决的东西。

还有一个细节值得单独说一下。当AI依赖现有的单元测试去判断某个行为是不是正常的,如果那些测试本身就是围着bug写出来的,AI反而会被这些测试"说服",认定错误才是正确答案。这提醒我们一件更大的事:任何自动化系统,一旦它的判断依据本身就是污染过的,它越自信,错得可能越彻底。这不只是AI的问题,人类团队里的"我们一直都是这么做的,肯定没问题"心态,本质上是一回事。

另外一个让我意外的点是,给AI多留时间几乎不管用,给AI更明确的指令却立竿见影地有效。这好像在说,面对现在这代AI,与其烦恼"它脑子不够快",更应该想的是"我把问题交代清楚了吗"。这个结论听起来简单,但放在实际应用场景里,其实是在提醒所有打算用AI自动生成软件、不经人工审查就直接推给用户的团队:指望AI自己把关,目前这个阶段还靠不住。

那么下一步呢,如果AI真的要在没人盯着的情况下自己把软件打磨干净,它需要补的到底是更聪明的推理,还是更像人类那种"直觉上觉得哪里不对"的敏感?这个问题,留给下一篇论文去回答吧。

Q&A

Q1:SWEeper-Bench是什么?

A:SWEeper-Bench是普林斯顿大学团队提出的一个测试基准,用200个真实开源网页应用的bug案例,考察AI智能体能不能在没人告知bug具体位置的情况下,自己通过操作软件发现并修复问题。

Q2:为什么顶尖AI模型自己找bug的通过率只有59%?

A:因为AI擅长读代码、改代码,但很少主动像真实用户那样操作软件去验证功能,而且就算触发了异常画面,也常常不认为那是一个bug,导致发现问题这一步出现最大的卡顿,不是修复能力不够。

Q3:给AI详细的bug描述和只给方向,差别有多大?

A:差别非常大,研究显示只给方向时AI通过率普遍在35%到51.5%之间,而给出详细bug描述后,同样的模型通过率能冲到96%以上,说明AI修bug的能力已经很强,真正的短板是自己发现bug的能力。

文章标签学术研究

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。