Token导航 LogoToken导航

AI 资讯 · 科技行者

研究者用真实Bug反向训练AI制造麻烦

更新 2026-11-20科技行者正文 7923字阅读约 25分钟

你有没有想过,训练一个会修bug的AI,最大的瓶颈其实不是算法,而是题目不够用?

这话听起来有点怪。毕竟GitHub上每天都有海量的issue被提交,软件bug还会缺吗?但问题恰恰出在这里:真实世界的bug报告,是按照人类开发节奏自然产生的,你没法让程序员加班加点多造几个bug出来给AI当教材。更麻烦的是,每一条能用来训练或测试coding agent(代码智能体:能自主读代码、改代码、跑测试的AI程序)的任务,背后都得搭一整套可执行的代码仓库环境,还要有能验证修复是否成功的测试用例。这个搭建和校验的成本,高到让人头疼。

于是学术界开始琢磨一个问题:能不能让大模型自己造bug,自己出题?

这事儿说起来简单,做起来却藏着一个几乎所有人都踩过的坑。

一、当AI被要求"出题"时,它在偷懒

先说说已有的几条路子。SWE-smith这类工作会直接让大语言模型去改某段代码,故意引入一个缺陷;BugPilot则换了个思路,让AI去实现一个新功能,功能做歪了,顺带引入的回归缺陷就被当成bug用。这些方法确实能批量生产任务,数量上去了。

但这里有个隐藏的问题:这些方法都是靠提示词(prompt,也就是你给AI的指令文本)去"指挥"一个通用大模型凭空想象出一个bug。

这就好比你让一个从没当过程序员、只是读过很多技术文档的人去"编造"一个典型的软件缺陷。他确实能编出点东西,但编出来的东西会不自觉地往他脑子里最熟悉、最常见的那几种模式上靠。第一次编可能还有新意,编到第五十次、第一百次,你会发现车轱辘话越来越多,花样就那么几种,翻来覆去。如果不解决这个"江郎才尽"的问题,批量造出来的bug看起来数量惊人,实际上诊断起来却高度雷同,AI学了半天其实只学到了几种套路,没能力应对真实世界里千奇百怪的坑。

论文里有组数据印证了这个直觉:用一个未经专门训练的大模型反复在同一份代码文件上生成bug,采样200次之后,归一化去重后只有61.74%的补丁是独特的。换句话说,接近四成的"新bug"其实是老面孔换了件衣服。

这就是SWE-at-Scale这篇论文想要解决的核心矛盾:怎么让AI造出来的bug,既多又不重样,还得真实可信。

二、把"修复"倒放,看看bug是怎么长出来的

研究者的思路其实挺巧妙,甚至有点"反着来"的味道。

真实世界里天天都在发生程序员修bug这件事。一个开发者发现代码有问题,写了一个补丁(patch,指修改代码的差异文件)去修复它。这个补丁本身,其实隐含着极其丰富的信息:它告诉你,一段"好代码"是怎么一步步退化成"坏代码"的逆过程。

SWE-at-Scale的核心洞察是:如果把这个修复过程倒过来放,正向看是修复,反向看就是bug的产生过程。

具体怎么做的?研究团队从SWE-Fixer、SWE-rebench、SWE-bench-Live、SWE-Gym这四个数据源里,收集了超过13万条issue修复记录。对每一条记录,他们先把开发者的原始补丁应用到有问题的仓库上,还原出修复后的"正确代码"版本。然后,他们反过来计算一个从"正确代码"指向"原始错误代码"的新diff(差异文件),这个反向的diff,就成了训练AI"如何制造bug"的直接教材。

这个操作的妙处在于,它不是让AI凭空想象一个bug长什么样,而是让AI去学习历史上真实发生过的、无数程序员不小心犯过的错误模式。

这就像是你想学做一道菜,有两种办法。一种是看着一张完成品的照片,自己瞎琢磨该放什么调料、火候怎么控制,全靠猜;另一种是找到一盘已经炒糊了的菜,再对照一份详细的"正确做法"教程,逐步倒推出究竟是哪一步火大了、哪一步少了调料,才导致这道菜炒糊了。如果只靠第一种方式,你很可能永远学不会那些真实厨房里常见的失误方式,比如什么时候油温太高会糊锅底,什么时候调料下早了会苦。而第二种方式,是把无数次真实的"炒糊"案例拿来反向拆解,学到的是"出错的真实套路",而不是自己脑补的失误。

经过一系列质量过滤,包括剔除无法解析的补丁、排除纯注释和格式改动、验证正向反向补丁能否相互还原、按bug类型和代码库进行分布平衡采样,再加上人工复查,最终筛选出13407条高质量的真实修复转换,覆盖688个代码仓库。

这份数据集本身也挺讲究的。研究者统计了bug类型分布,发现逻辑类(Logic)和接口类(Interface)bug占比最高,分别是47.6%和17.1%,这跟真实世界软件缺陷的自然分布基本吻合,而不是人为凑出来的均匀分布。仓库领域上也覆盖了Web/API、科学计算、机器学习、开发工具等十大类,避免了数据来源过于单一。

三、两条路线:直接写补丁,还是先说清楚要改什么

有了这份"倒放教材",接下来就是训练模型。

团队选用Qwen3.5-9B作为底座模型,开发了两个版本。

第一个版本叫SWE-at-Scale,走的是直来直去的路子:给模型一份标注了行号的完整正确代码文件,让它直接生成一个统一diff格式的补丁,这个补丁应用上去之后,代码就从"对的"变成"错的"。模型要同时搞定两件事,一是判断该在哪里动手,二是决定具体怎么改。

第二个版本叫SWE-at-Scale+,多了一道工序。它不是让模型直接生成代码补丁,而是先让模型用自然语言描述清楚这个bug的"作案计划":要在哪里动手、现在的代码是什么行为、具体要怎么改、有什么实现约束、改完之后会有什么可观察的异常表现。这份自然语言描述的训练数据,是用DeepSeek-V4-Flash-0731作为"老师模型",根据前面提到的真实修复转换反推生成的。生成这份"作案计划"之后,再交给一个执行器(executor,负责把自然语言指令落实成具体代码改动的模型)去真正动手改代码。

为什么要多这一道弯路?

这背后的逻辑其实很直接。直接生成补丁的方式,相当于让模型一边想"要犯什么错"一边直接"动手犯错",两件事情混在一起做,bug的意图是隐式的,藏在生成的代码变化里,很难被精确控制。而拆成两步之后,第一步先把"犯错的意图"用语言明确表达出来,这其实更贴合大语言模型本身最擅长的事情,就是语言建模(language modeling,模型根据上下文预测下一段文字或代码的能力)。

这有点像是你让一个新手学徒去修一台机器,故意装坏某个零件来练习诊断能力。如果你只是让他随手拧几颗螺丝,他可能拧得毫无章法,有的螺丝拧了也看不出效果。但如果你先让他写一份"损坏方案":打算松开哪颗螺丝、现在这个零件是什么状态、松开之后会导致什么故障现象,写完这份方案再照着执行,整个过程会清晰可控得多,而且这份方案本身也成了可复用、可检验的知识。如果跳过写方案这一步直接上手,出问题的时候你很难说清楚究竟是哪个环节出了岔子。

实验结果证实了这个设计思路的价值。SWE-at-Scale+的Usability Rate(可用率,指生成的bug任务能通过执行验证的比例)达到94.0%,人类偏好率(Human Preference Rate,简称HPR,衡量生成的bug被人类专家认为"更像真实世界会出现的bug"的比例)达到61.2%,两项指标都明显优于直接生成补丁的SWE-at-Scale(分别是72.6%和55.9%)。

四、生成之后,怎么把一堆代码改动变成一道"题"

光有一个会改坏代码的模型还不够,得把它变成一道真正可用的"考题"。

SWE-at-Scale的做法是,先把生成的代码改动应用到对应的正确代码仓库上,然后跑一遍该仓库自带的测试套件。只有那些导致至少一个原本能通过的测试现在失败了的改动,才会被保留下来,这种测试结果的转变被称为Pass-to-Fail(简称P2F,指一个原本通过的测试在代码改动后变成失败)。

这一步其实是整个流程里非常关键的质量把关。单靠模型生成的代码改动,谁也不能保证它真的构成了一个"可被观察到的异常",万一改了半天测试还是全绿,那这个bug就是无效的。用P2F测试做筛子,相当于给每一个候选bug都做了一次"真实性验证",确保它不是纸上谈兵。

筛选出有效的bug样本之后,还需要给它配一份用户视角的issue描述(issue description,指类似GitHub上用户提交的问题报告,用自然语言描述遇到的故障)。团队会把生成的代码diff、失败测试的源码、测试执行输出,连同两个示范样例一起喂给一个大模型,让它模仿GitHub上真实issue的写法,生成一段描述"观察到的异常行为"和"期望行为"的文字,但不会暴露这个bug其实是人工合成的。这份issue描述和已验证的问题仓库配对,就构成了最终的SWE任务实例。

五、造出来的bug,到底好不好用

说了这么多设计思路,最终还是要看效果。研究团队从三个维度做了检验:真实感、可用性、难度。

真实感用HPR衡量,找了三位有至少三年经验的软件工程师,把合成的issue-patch配对和真实世界的SWE-bench Verified任务放在一起对比,判断哪一个更像是真实软件开发中会遇到的情况。结果显示,SWE-at-Scale和SWE-at-Scale+生成的bug分别有55.9%和61.2%的概率被判定为"更像真实场景",这意味着超过一半的情况下,人类专家甚至分不清哪个是AI编的。

可用性用Usability Rate衡量,也就是针对每个目标代码提交,最多尝试五次生成,看有多大比例能产出至少一个通过所有筛选的有效任务。SWE-at-Scale+在这项指标上达到94.0%,远超对比方法。

难度方面,研究者用四个不同的大模型(DeepSeek-V4-Flash、GPT-5.4-mini、GLM-5.3-Flash、Qwen3.8-Flash-Next)分别去尝试解决这些合成任务,用Pass@1(指模型第一次尝试就成功解决问题的比例)来衡量任务难度。结果很有意思:

| 任务来源 | DS-V4-Flash | GPT-5.4-mini | GLM-5.3-Flash | Qwen3.8-Flash |

|---|---|---|---|---|

| SWE-bench Verified(真实任务) | 91.80 | 69.60 | 94.00 | 97.00 |

| DeepSWE(专家设计任务) | 54.40 | 24.30 | 63.40 | 58.70 |

| LLM-Modify(基线方法) | 75.17-79.85 | 35.82-56.04 | 51.55-59.06 | 63.96-66.78 |

| SWE-at-Scale | 48.48 | 31.68 | 42.15 | 44.44 |

| **SWE-at-Scale+** | **33.19** | **16.81** | **35.32** | **37.02** |

这组数字值得细品。真实世界的SWE-bench Verified任务,AI模型的通过率普遍在70%到97%之间,说明这些真实issue对当前顶尖模型来说其实已经不算特别难了。而SWE-at-Scale+生成的任务,通过率压到了16.81%到37.02%之间,比真实任务难出一大截,甚至比由人类专家精心设计的高难度基准DeepSWE还要再难一些。

这说明什么?说明仅仅从真实修复里学出来的bug模式,已经能逼出比随手找来的真实issue更棘手的考题,这对于想要持续鞭策AI能力边界的研究者来说,是个相当有用的工具。

六、bug种类会不会很快用光

这是个特别现实的问题。如果一个生成器只会反复炮制同一种bug,那批量再大也没意义。

研究团队设计了一个指标叫平均bug类型熵(Mean Bug Type Entropy,简称MBTE,用来衡量针对同一份代码文件,模型能生成多少种不同类型bug的指标,数值越高说明种类越丰富)。这个指标专门盯着"同一份代码文件能变出多少花样",而不是简单统计整个数据集里出现过多少种bug类型,后者很容易被"文件数量多"这个因素带偏。

他们做了三组对照实验。

第一组测试训练时见过的代码仓库数量对多样性的影响。固定2000条训练数据,只改变涉及的仓库数量从5个逐步增加到100个。结果显示,随着见过的仓库种类变多,MBTE稳步上升,可用率也略有提升。这个结果挺符合直觉的:见过的"案发现场"越多,学到的作案手法自然也越丰富。

这就像一个刑侦学员的训练过程。如果他只在五起案件的卷宗里学习,那他脑子里的"作案手法清单"必然很有限,遇到没见过的套路很容易判断失误。但如果他研究过上百起形形色色的案件,哪怕每起案件只学一点,积累下来的经验也会让他在面对新情况时反应更灵活、判断更准确。不扩大接触面,学到的永远只是冰山一角。

第二组测试采样温度(sampling temperature,控制模型生成结果随机程度的参数,数值越高结果越发散)的影响。在温度0.0到1.0之间做了六档测试,发现MBTE在温度0.6时达到峰值1.173比特,但可用率却从69.0%一路跌到23.4%。这说明温度调得太保守,模型会老老实实重复最"安全"的那几种bug模式;调得太激进,虽然花样是多了,但很多生成结果根本通不过执行验证,变成了废稿。中等温度(0.4到0.6之间)是多样性和可用性的最佳平衡点。

第三组是最有说服力的一组,测试采样预算(sampling budget,针对同一份文件反复生成候选结果的次数)的扩展效果。固定50个目标文件,温度设为0.6,采样次数从5次一路加到200次。结果是SWE-at-Scale的MBTE从0.583比特一路涨到2.063比特,而且到200次时依然没有饱和迹象,可用率则稳定在47%左右没有明显下滑。更关键的对比在于,同样200次采样,没有经过专门训练的通用大模型(LLM-Modify配合DeepSeek-V4-Flash)的MBTE只有1.22比特,差不多只有SWE-at-Scale的一半,补丁层面的独特率也只有61.74%,相比之下SWE-at-Scale达到了88.27%。

这组对比数据实际上揭示了这篇论文最核心的价值主张:没有经过专门训练的通用大模型,在反复生成任务时会快速撞上"创意天花板";而经过真实修复数据训练的SWE-at-Scale,这面天花板明显被推得更高更远。

七、造出来的bug不是"随手一改"

除了多样性,研究者还关心另一件事:这些合成bug在复杂度和成本上表现如何。

从改动规模看,SWE-at-Scale和SWE-at-Scale+平均每个实例修改18.8行和18.5行代码,比真实的SWE-bench Verified任务(14.3行)还要略高一些,这说明合成出来的bug不是那种改一个字符就了事的简单扰动,而是涉及相对复杂的代码变更。

从生成成本看,直接生成补丁的SWE-at-Scale路径,平均每个实例消耗约17450个token(token,大语言模型处理文本的基本单位,大致相当于一个词或词的一部分),比起走"重写代码实现"路线的LLM-Rewrite方法(34920到62820个token)要省不少,但比起简单的LLM-Modify(4460到10230个token)又贵一些。最夸张的是BugPilot采用的FeatAdd策略,平均每个实例消耗229万个token,比SWE-at-Scale高出了两个数量级还多。这意味着SWE-at-Scale在复杂度和效率之间找到了一个相当划算的中间地带。

八、这件事情为什么重要

coding agent的评测一直有一个尴尬的现实:好的题目太少,而且不可能快速增多。

SWE-at-Scale真正解决的问题,不是"造更多bug"这件事本身,而是证明了一条路径:有限的真实历史数据,是可以被系统性地转化成一个可持续生成的监督信号的。这和过去几年很多依赖大模型自身"脑补"能力的数据合成方法有本质区别,后者本质上是在不断消耗模型已有的知识储备,而前者是在往真实世界的经验里深挖。

在这篇论文之后,这个思路已经开始被更多人验证和延伸。SWE-Synth同样走的是针对性代码重写加执行验证的路线,但没有把重写过程做成可训练的监督信号,诊断能力的天花板仍然受限于单次调用的大模型能力。BugPilot选择让agent去做功能开发、顺带收集意外产生的回归bug,思路虽然巧妙,但从论文披露的数据看,这种开放式的流程导致生成成本极高、可控性较弱。而SWE-Mirror走了另一条路,把某个issue的行为语义抽象出来,再搬到另一个功能相似的仓库里重新实例化,这种方法的多样性上限,很大程度上取决于能找到多少个"源issue模板",本质上还是依赖已有真实issue的存量,没有彻底摆脱对历史数据规模的依赖。

相比之下,SWE-at-Scale的训练范式,是把有限的历史修复数据,转化成了一个理论上可以无限采样的生成分布,这才是它最值得被记住的地方。

写在后面

读这篇论文的时候,我一直在想一个问题:为什么没人早点想到"把修复倒过来当bug教材"这个思路?后来一想,这背后其实有个挺朴素的心理定式在作怪。大家习惯把bug修复数据当作"正向监督"来用,也就是教AI怎么把坏代码修好,这是绝大多数代码补全、代码修复研究的默认思路。反过来利用这份数据去教AI"怎么把好代码弄坏",这个方向性的翻转,其实需要先打破"数据只能按照它原本的用途去用"这种思维惯性。

还有一个细节挺有意思,论文里提到SWE-at-Scale+之所以表现更好,是因为它先用自然语言把bug意图写清楚,再去执行。这其实印证了一个越来越被反复验证的现象:让大语言模型先把意图用语言表达出来,再去做具体操作,几乎总是比让它一步到位直接操作效果更好。这跟"思维链"(chain of thought)提升推理能力的逻辑有点像,只不过这次应用在了"制造缺陷"这个听起来有点反派气质的任务上。

论文的局限性也写得挺坦诚,目前整套方法只在Python仓库上验证过,能不能推广到其他编程语言,论文作者自己也没把握。另外测试覆盖率不足的仓库会直接导致很多本该有效的bug被判定为无效而丢弃,这也意味着这套方法目前对代码质量和测试完备性较高的项目更友好,对那些测试覆盖率本来就稀烂的真实项目反而可能派不上用场,而这类项目往往恰恰是最需要被研究、最容易产生真实bug的地方。这算是个挺现实的悖论。

如果一个AI越来越擅长"伪造"逼真的bug,那它是不是也越来越理解bug是怎么产生的?理解产生机制和拥有修复能力之间,到底隔着多远的距离?

Q&A

Q1:SWE-at-Scale是什么?

A:SWE-at-Scale是一个通过反转真实软件修复记录来自动合成软件工程任务的框架,它让AI学会从历史bug修复中反推出bug是如何产生的,从而批量生成多样化、可执行的代码缺陷任务,用于训练和评测coding agent。

Q2:SWE-at-Scale生成的bug任务和真实世界的issue相比难度怎么样?

A:实验显示SWE-at-Scale生成的任务对多个主流AI模型来说比真实的SWE-bench Verified任务更难,Pass@1通过率压低到16.81%到48.48%区间,其中SWE-at-Scale+版本的难度已经接近人类专家精心设计的DeepSWE基准。

Q3:SWE-at-Scale和SWE-smith、BugPilot这些已有方法有什么区别?

A:已有方法主要依赖通用大模型的提示词生成bug,容易在反复生成时陷入重复套路;SWE-at-Scale则专门用真实历史修复数据训练了一个bug诱导模型,采样200次后仍有88.27%的生成结果保持独特,多样性明显优于未经专门训练的通用模型。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。