Token导航 LogoToken导航

AI 资讯 · 科技行者

AI程序员代码测试失败后如何处理

更新 2026-11-21科技行者正文 6438字阅读约 21分钟

你有没有想过,当一个AI程序员提交了代码,结果测试没通过,接下来会发生什么?

大部分现在的训练方法里,答案是:这个AI会把这次失败彻底忘掉,然后换一张白纸,重新试一次。就好像你去考试,第一次考砸了,老师不会把你错的卷子给你看,直接让你换一套新题再考一次。你永远不知道自己哪里错了,只能靠蒙。

这事儿听起来有点荒谬,但它正是当下训练AI软件工程师最常见的做法。而NVIDIA和清华大学的研究者们,在他们的新论文里把这个问题挖得很深,还给出了一套叫做FC-SWE的解决方案。

**AI改代码,到底难在哪**

先说清楚我们在讨论什么任务。

现在的AI编程助手已经不只是帮你写几行代码那么简单了。真正的挑战叫做仓库级软件工程。

仓库级软件工程:指的不是让AI从零写一个独立小程序,而是让它去修复一个已经存在、动辄几万行代码的真实项目里的bug。

这种任务特别考验耐力。AI得先打开文件看代码,再运行测试看报错,根据报错去改代码,改完再测,可能还要反复好几轮。每一步操作都会改变仓库的状态,也会带来新的信息。这种一环套一环、每一步都依赖前一步结果的任务,学术上叫长程任务。某个权威的评测基准,叫SWE-bench,专门用真实的GitHub issue来考验AI能不能真的解决实际问题,而不是纸上谈兵。

要训练AI把这种活干好,现在业界普遍用的方法叫强化学习,具体来说用的是一种叫GRPO的技术。

强化学习:一种让AI通过"试错"来学习的方法,做对了给奖励,做错了不给,AI会慢慢调整自己的行为去追求更高奖励。

GRPO:全称Group Relative Policy Optimization,意思是让AI针对同一个问题独立生成好几个不同的解答尝试,然后比较这些尝试谁好谁差,从里面学习经验。

GRPO的做法是,给AI一个bug,让它独立尝试八次,每次都从零开始,互相之间没有关联。跑完测试之后,通过的记一个正分,没通过的记一个零分,然后拿这八次的结果互相比较,告诉AI哪种做法更值得学习。

这套方法确实管用,但研究者们发现了一个明显的漏洞。一次失败的尝试,绝不仅仅是一个冷冰冰的"零分"。它背后藏着一堆信息,比如具体是哪个测试用例没通过,报错信息写了什么,代码在哪一行崩的。这些东西,专业点说叫诊断信息,其实就是在明明白白告诉你"错哪儿了"。而GRPO的八次独立尝试之间互不通气,这意味着AI每次失败后收集到的宝贵线索,全都被扔进了垃圾桶,从没机会被利用起来教AI怎么改进。

这就好比一个新手厨师在后厨试做一道新菜,第一次放盐放多了,主厨尝了一口直接倒掉,什么都没说,让他重新用一套全新的食材再做一次。厨师永远不知道自己是哪一步出了问题,只能靠运气瞎试。如果主厨能告诉他"盐放多了,少放一点",下一次很可能就成了。GRPO现在干的,正是那个倒掉菜却什么都不说的主厨。

**失败不是终点,是起点:FC-SWE的核心思路**

研究者们提出的方案,名字就点出了关键:FC-SWE,全称是失败条件强化学习。

它的基本逻辑很直白:当AI提交的补丁没通过验证,系统不会直接判它彻底失败走人,而是会把代码仓库恢复到任务最初的干净状态,然后把刚才那次失败的补丁内容,以及验证器给出的具体错误信息,一起打包塞给AI,让它带着这些线索去进行第二次尝试。

验证器:一套自动化的测试系统,专门检查AI提交的代码补丁是不是真的解决了问题,结果通常是通过或不通过的二元判断,但背后往往伴随着具体的报错日志。

这个流程听起来简单,但真正落地的时候有两个绕不开的难题。

第一个难题是:第二次尝试会不会污染第一次的记录?假设AI第一次失败了,第二次凭借拿到的线索成功了,那第一次那个失败的补丁,该怎么算分?如果简单粗暴地把"最终成功了"这个结果,倒着套到第一次尝试头上,那就相当于告诉AI"你刚才那个错误的做法其实是对的",这显然是在误导学习方向。

第二个难题更微妙:整条"先失败再恢复"的链条,是不是会破坏强化学习里原本的那套比较机制?GRPO靠的是把一组互相独立的尝试放在一起比较优劣,可现在的尝试有先有后,后面的尝试是不是执行、什么时候执行,完全取决于前面那次是不是失败了。这种"看脸色行事"的结构,跟原来那种"大家平等独立"的假设,完全是两套逻辑。

论文把这种结构叫做结果依赖的恢复链。

结果依赖的恢复链:第一次尝试永远会发生,但第二次尝试只有在第一次失败的前提下才会被触发,一环扣一环,后面的事取决于前面的结果。

为了解决这两个难题,FC-SWE设计了两个关键机制。

**第一个机制:每次尝试只认自己的账**

这个机制叫轨迹局部奖励。

轨迹局部奖励:每一次尝试,无论是第一次还是后面的恢复尝试,它拿到的分数只跟自己提交的补丁有没有通过验证有关,跟后面或前面发生了什么都没关系。

具体来看,如果第一次失败、第二次成功,这条链的奖励记录是[0, 1]。第一次那个0分,永远是0分,不会因为后面成功了就被改写成1分。

这个设计看起来很朴素,但它守住了一条底线:不能让"后来的运气"篡改"当下的事实"。

想象你去参加一场辩论比赛,打完一轮输了,裁判给你记了负分。晚上你反思了一下,改进了论证方式,第二轮赢了。这时候如果比赛规则说"既然你第二轮赢了,那第一轮的输分也顺便改成赢",这显然是荒谬的,因为那样一来,所有人都会觉得第一轮怎么打都没关系,反正后面能补回来。FC-SWE不允许这种事发生,它坚持第一轮输了就是输了,这个记录对AI接下来怎么学会"第一次就把事情做对"至关重要。

论文里也提到过另一个极端做法:干脆只拿最后一次成功的尝试去训练,把前面失败的那次完全扔掉不要。这样做的问题是,AI就彻底看不到"失败是什么样子"了,也就失去了拿失败和成功做对比、学习两者差异的机会。所以FC-SWE选择把每一次尝试都保留下来,各自记各自的账,这样AI既能看到错误的样子,也不会被误导。

**第二个机制:比较的时候,只拿真正发生过的事情说话**

这个机制叫活跃集优势估计。

活跃集优势估计:把同一个问题下所有实际执行过的尝试(包括第一次尝试和后面触发的恢复尝试)全部放进一个比较池子里,互相对比谁的表现相对更好或更差,而那些压根没被触发执行的恢复位置,根本不会进入这个池子参与计算。

还记得前面说的,GRPO里八个尝试互相独立比较优劣这件事吗?FC-SWE延续了这个"拿一群结果互相比较"的思路,但它把比较的范围,从"固定数量的独立尝试",改成了"这个问题上真实跑过的所有尝试"。

举个例子,一条链如果是[0, 1]这样的结果,活跃集优势估计会把这两次尝试放在一起比,算出来的结果是:那个成功的第二次拿到正向的相对优势,那个失败的第一次拿到负向的相对优势。注意,这里改变的是"相对优势"这个评分,而不是前面说的那个"轨迹局部奖励"的原始分数,两者是分开计算的。

这就有点像公司年底做绩效评估。你今年换了三次岗位,前两次都没做出成绩,第三次终于做出了亮眼的业绩。年底打分的时候,HR不会把你换过的那些空缺岗位也算进评估池子里一起比(因为那些岗位根本没人去干,是空的),但会把你实际干过的这三段经历都纳入对比,从中看出"换到第三个岗位之后表现明显变好了"这个相对关系。如果HR把那些完全没人去干的空缺岗位也混进来一起打分,结果就会被莫名其妙地拉低或拉高,完全失真。FC-SWE要排除的,正是那些"压根没被执行过"的恢复位置,因为它们根本不是AI生成的真实行为,混进来比较毫无意义。

论文原文里有一张示意图(就是那张展示GRPO和FC-SWE训练流程对比的图),画得挺清楚:GRPO那边是两条独立的箭头各自走到底,各自打分;FC-SWE这边第一条路走到失败节点后,系统做了一次清空重置,带着失败的补丁和验证器输出的证据,接到第二条路上去,两条路各自保留自己的分数标签,但最后会被放进同一个比较篮子里综合考量。

**实验说话:这套方法到底有没有用**

说了这么多设计思路,到底管不管用,还得看数字。

研究者们用的模型叫Qwen3.5-4B,这是一个40亿参数规模的开源语言模型。他们在全部500个SWE-bench Verified任务上做了测试,这是SWE-bench基准里经过人工严格验证过的一个子集,专门用来确保评测结果靠谱。

实验设置了三组对照:一组是什么都没训练过的原始模型(论文里叫Base),一组是用传统GRPO训练过的模型,一组是用FC-SWE训练过的模型。三组都用同一套评测工具叫SWE-agent,给同样的尝试次数预算,保证比较是公平的。

结果上,第一次就答对的概率(论文里叫Resolved@1),Base只有27.9%,GRPO训练之后提升到38.9%,而FC-SWE达到了41.7%。

允许失败一次再补救的情况下(Resolved@2),Base是36.3%,GRPO是48.5%,FC-SWE则是52.8%。

更值得关注的一个指标是条件恢复率,意思是"在第一次失败的那些任务里,第二次能救回来的比例有多少"。Base是11.6%,GRPO是15.7%,FC-SWE是19.0%。

这组数字说明一件事:FC-SWE不仅第一次做得更好,失败之后"反思改进"的能力也明显更强。

研究者们还做了一个很有意思的对照实验,专门用来回答一个尖锐的问题:到底是"多给一次机会"本身起了作用,还是"看到失败原因"这件事真的有用?

他们设计了两种对照方式。第一种是让AI不带任何失败信息,就是单纯重新随机生成一次(论文里叫独立重采样)。第二种是带着失败补丁和错误信息去改进(就是FC-SWE本来的做法)。

结果很反直觉:对于没训练过的Base模型和用GRPO训练的模型,居然是单纯重新生成的效果更好一些,带着失败信息反而没那么管用。但对于用FC-SWE专门训练过的模型,情况反过来了,带着失败信息明显更有效,19.0%对17.0%。

这个发现其实挺深刻的。一个模型如果从来没在训练中专门学过"怎么利用失败信息",那你硬塞给它一堆错误日志和失败补丁,它未必知道该怎么用,甚至可能被这些信息干扰了判断,还不如清空脑子重新来一次。只有专门训练过"读懂失败、针对性改进"这件事的模型,失败信息才真正变成了有用的线索,而不是噪音。

这就跟学开车类似。一个刚拿到驾照、从没系统学过"倒车入库失败怎么分析"的新手,如果教练把上一次撞到锥桶的录像放给他看,他可能看完更紧张,表现反而更差,还不如让他忘掉上一次,重新打方向盘试一次。但一个专门训练过"看录像分析失误点"的老司机,录像反而是帮他快速定位问题、下一次直接改进的利器。FC-SWE训练出来的模型,正是那个学会了看录像分析问题的老司机。

研究者还做了进一步拆解,看看到底哪部分失败信息最管用。只给失败的补丁本身,恢复率是15.7%;什么都不给,是17.0%;补丁加上验证器的详细报错信息一起给,是19.0%。这说明光给补丁其实没多大用,甚至比什么都不给还差一点,真正起作用的是验证器那些具体的报错细节,它才是真正有信息量的部分。

**训练时只给两次机会,测试时能撑到十一次**

这里有个挺值得琢磨的细节。FC-SWE训练的时候,每条恢复链最多只给两次尝试机会。但测试的时候,研究者把这个预算放宽到了十一次,结果发现FC-SWE训练出来的模型,累计解决率一路涨到了70.7%,而用GRPO训练的模型只能到67.3%,没训练过的Base模型只有61.1%。

这说明FC-SWE学到的不只是"针对某个特定失败场景的死记硬背",而是一种更通用的能力,叫做从反馈里提炼教训、持续迭代改进的本领。这种能力一旦学会,就能被套用到比训练时见过的更长的尝试链条上,继续发挥作用。

论文里还顺带算了一笔经济账,就是解决同样比例的问题,各个模型消耗的计算资源(用token数衡量)差多少。要达到50%的解决率,Base大约需要822万token,GRPO需要439万,FC-SWE只需要315万。换算一下,FC-SWE比Base省了超过六成的计算开销。这个数字虽然是基于一些估算假设得出的,不能完全等同于实际部署时的真实成本,但大致方向还是能说明问题:学会利用失败信息的模型,不仅更聪明,也更省钱。

**几个研究者没回避的局限**

这篇论文有一点我比较认同,它没有把FC-SWE包装成万能解药,反而很坦诚地列出了好几个尚待解决的问题。

比如现在的实验用的验证器,是SWE-bench官方那套基准测试,这意味着AI能看到的反馈信息是"标准答案级别"的详细报错。但真实部署场景里,未必总有这么精准的测试反馈,很多时候可能只有AI自己写的粗糙测试,或者根本没有现成的测试用例。这就留下一个问题:如果反馈本身就是不准确、甚至误导性的,AI还能不能学会"质疑反馈、而不是盲从反馈"?

再比如,通过了测试用例,不代表代码真的完全正确地解决了那个issue描述的问题。论文附录里举的一个例子挺有意思:两个模型都通过了同一个目标测试,但其中一个方案悄悄引入了30个回归测试失败(也就是破坏了原本正常运作的功能),另一个方案则是零回归失败。这说明"通过测试"和"真的把活干好"之间,还是有不小的落差。

还有一点,这次的对照实验只用了一个模型(Qwen3.5-4B)和一套训练配置,不同的随机种子只是测的推理阶段的波动,而不是重新训练了多次模型来验证结果的稳定性。研究者自己也承认,把这套方法扩展到更多模型规模、更多任务类型上,还需要更多验证。

**写在后面**

读完这篇论文,我印象最深的是那个反直觉的对照实验结果:给没训练过的模型喂失败信息,反而比不给还差。这其实是在提醒我们一件容易被忽略的事,信息本身不等于有用的信息,它要配上"知道怎么用"的能力才真正值钱。这跟人学习的道理其实是相通的,给一个从没分析过错题的学生看满篇红叉的试卷,他可能只会越看越焦虑,而给一个习惯了复盘的学生看,他能从中抽出具体的改进点。

另一个让我多想了一会儿的地方,是论文里那个关于补丁和验证器信息哪个更重要的拆解实验。补丁本身贡献有限,真正有用的是报错细节。这多少印证了一个朴素的直觉:知道"我哪里错了",远比知道"我上次写了什么"更重要。错误本身的轨迹不如错误原因的轨迹值钱。

论文最后留的那个开放问题也挺值得琢磨:现实世界里,哪有那么多次打了标准答案的测试反馈等着你用。真正的软件工程师面对的,往往是模糊的报错、不完整的测试覆盖、甚至同事一句语焉不详的"这里好像有问题"。如果把FC-SWE这套"从失败里学习"的框架,搬到那种更混沌、更不确定的反馈环境里去,AI还能不能保持住这份从失败中爬起来的能力,这事儿恐怕比论文里展示的任何一个百分点提升,都更值得继续追问下去。

Q&A

Q1:FC-SWE是什么?

A:FC-SWE是NVIDIA和清华大学提出的一种失败条件强化学习框架,专门用来训练长程软件工程AI智能体。它的核心做法是,当AI提交的代码补丁没通过测试验证时,不直接放弃重来,而是把失败的补丁和错误信息作为线索,让AI基于这些线索进行一次有针对性的恢复尝试。

Q2:FC-SWE和传统的GRPO训练方法有什么区别?

A:传统GRPO让AI针对同一个问题独立生成多个互不相关的尝试,失败的尝试信息直接被丢弃,不会用来指导后续尝试。FC-SWE则会在失败后把代码仓库恢复到原始状态,保留失败补丁和验证器的具体报错信息作为上下文,让AI带着这些线索去改进,同时用两个机制确保奖励分配和比较方式都准确合理。

Q3:FC-SWE训练出来的模型效果到底好多少?

A:在全部500个SWE-bench Verified任务上,FC-SWE训练的Qwen3.5-4B模型第一次尝试解决率达到41.7%,两次尝试累计解决率52.8%,均高于传统GRPO训练的38.9%和48.5%。即使只用两次尝试训练,放到十一次尝试的测试场景下,FC-SWE依然能达到70.7%的累计解决率,领先GRPO的67.3%。

文章标签学术研究

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。