Token导航 LogoToken导航

AI 资讯 · 科技行者

AI编程智能体实现工具与技能协同进化

更新 2026-11-22科技行者正文 6337字阅读约 20分钟

你有没有想过一件事:一个厨师做菜难吃,到底是因为他手艺不行,还是因为他用的锅不行?

这个问题听起来有点蠢,但放到AI编程智能体身上,就是一个真实存在了很久、却一直没被认真解决的问题。

一个能自动帮你改代码、修bug的AI智能体,表现好不好,取决于两件事。第一是它的大脑,也就是背后那个大语言模型本身有多强。第二是它的"工作流程",比如它怎么看代码、用什么工具执行命令、什么时候该停下来提交结果。

**这个"工作流程"在AI圈子里有个专门的名字,叫做harness(脚手架):它决定了模型能看到什么信息、动作怎么被执行、能收到什么反馈、什么时候算任务结束。**

你可以把它理解成厨师手里的那套厨具。同样一个厨师,给他一把钝刀和一把锋利的刀,做出来的菜品质差距可能比换个厨师还大。

过去几年,研究者们基本是分开优化这两件事的。一部分人专注"磨刀",也就是优化harness,他们固定住模型不动,去调整提示词、调整工作流程、调整代码逻辑。另一部分人专注"练手艺",用强化学习去训练模型本身,但他们用的还是那套固定的厨具去收集训练数据。

这就带来一个很尴尬的局面。磨刀的人没法让厨师变聪明,练手艺的人只能在旧厨具允许的范围内学习新技能。如果厨具本身限制了厨师发挥,那无论厨师多努力,炒出来的菜还是有上限的。

反过来想,如果厨师已经升级了,原来那把为"笨手笨脚的厨师"量身定制的刀,还适合现在这个更厉害的厨师吗?答案往往是不适合。厨师的失误模式变了,原来那套workaround式的刀具设计,可能已经不再对症。

这就是这篇论文想解决的核心矛盾:harness和policy(策略模型,也就是那个"大脑")其实是互相成就、又互相制约的两个变量,只优化一个,永远是在打折扣地解决问题。

当AI学会自己给自己换工具

论文提出的方法叫Self-HPO,全称是Harness-Policy Optimization(脚手架-策略联合优化)的自我进化版本。

**它的核心思路很直接:让同一个AI,既当"选手",又当"教练"。**

具体来说,整个过程像一个循环的接力赛,分成两个交替的步骤。

第一步叫H-step(harness优化步),这时候模型的参数被冻住不动,但它要去分析自己之前做任务失败的记录,然后针对这些失败模式,主动提出改进harness的方案,比如改提示词、改执行逻辑、加一些检查机制。多个候选方案会被实际跑一遍,挑出表现最好的那个。

第二步叫P-step(策略优化步),这时候harness被固定下来,模型开始用强化学习来真正"练手艺",根据任务是否成功得到奖励信号,一点点调整自己的参数。

这两步循环往复,就像一个人边用边改进自己的工具,又用改进后的工具去提升自己的技能,技能提升后又反过来发现工具的新问题,再去改进工具。

论文里有张图特别形象,画的是一条从左往右爬升的曲线,起点是基础模型的61%解决率,中间经过H1(第一次改工具)、P1(第一次练技能)、H2、P2四个阶段,一路爬到69.5%。每一步都在涨,没有哪一步是白做的。

这里要澄清一个关键细节:谁来当"磨刀匠"?

**在Self-HPO这个自我进化的版本里,磨刀匠就是模型自己,不需要额外请一个更聪明的外部模型来帮忙改工具。**

论文还做了一个对照实验,用更强的外部模型Opus 4.8来当磨刀匠,这个版本叫HPO。结果显示,外部模型确实能带来进一步提升,把SWE-Bench Verified这个基准测试上的解决率从69.5%推到71.6%。但即便没有这个外援,靠自己练出来的Self-HPO,表现已经相当能打了。

任务难度表决定下一轮该磨哪里

光是循环还不够,这里面还有一个很巧妙的设计,叫做"搜索集的进化"。

每次H-step去诊断harness的问题时,需要拿一批任务来做测试,看看改进后的harness在这批任务上表现如何。如果一直用同一批任务去测试,会出现什么问题?

**答案是:随着模型本身越来越强,原来那批任务对它来说可能已经不再是难题了,继续拿这些任务来优化harness,等于是在给一个已经毫无压力的学生继续补习已经掌握的内容,浪费精力,还可能跑偏方向。**

论文的解法是,每轮P-step训练完之后,统计一下哪些任务是模型"无论尝试多少次都没解决"的,这批"硬骨头"任务就成为下一轮H-step的新搜索集。

这就好比一个健身教练,不会一直盯着你已经练得很熟练的动作去纠正姿势,而是重点盯着你总是做不好的那个动作。随着你水平提高,教练盯的重点动作也会变,上个月是深蹲姿势不对,这个月可能是硬拉发力顺序出了问题。如果教练永远盯着你第一次来健身房时的问题,那纠正的东西和你现在真正的短板早就脱节了。

论文做了消融实验来验证这个设计的价值。如果固定住初始搜索集不去更新,最终的解决率是70.1%,比动态更新搜索集的71.6%低了1.5个百分点。看起来差距不大,但在高难度基准测试上,这1.5个百分点往往意味着几十个任务里多解决了好几个真实的bug。

为什么是强化学习,而不是直接模仿

在P-step这一步,策略优化具体是怎么做的?

**论文选用的是GRPO(Group Relative Policy Optimization,群体相对策略优化)这种强化学习算法,配合一个叫BAR(Balanced Adaptive Rollout,平衡自适应采样)的采样技巧。**

这里有个值得展开的技术细节。强化学习靠的是"奖励信号"来指导模型学习,这篇论文用的奖励很简单粗暴,就是一个二元信号:任务解决了给1分,没解决给0分。

但这种简单的奖励方式有一个麻烦:如果某一组尝试里,所有的尝试全部成功或全部失败,那这一组内部就没有"相对好坏"的差异,模型学不到任何有效信息,这种现象叫"零方差分组"。

BAR的解决办法是主动多采样几次,挑出一个既有成功又有失败的平衡组合,让每一组训练数据里都保留足够的"对比信息"。

这就像老师出卷子打分,如果一道题全班都做对了,或者全班都做错了,这道题对区分谁更懂这个知识点毫无帮助。有经验的老师会故意留一些中等难度的题目,让会的人和不会的人在这道题上拉开差距,这样才能真正看出谁掌握了、谁没掌握。

论文还做了对比实验,用监督微调(SFT,直接模仿别人的成功案例来学习)和拒绝采样微调(RFT,只用自己做对的案例来学习)分别替代强化学习,结果都不如强化学习。SFT的最终解决率只有67.2%,比强化学习的71.6%低了整整4.4个百分点。即便是用模型自己成功的轨迹来做RFT,也还是比强化学习差1.1个百分点。

这说明单纯的模仿学习是有天花板的,它只能学到"已经发生过的成功",而强化学习能探索更多可能性,从错误中真正纠偏。

磨刀这件事,到底改了什么

说了半天"改进harness",具体改的是什么东西?论文里有个非常具体的案例研究,拿一个真实任务做对比,展示了优化前后harness到底发生了什么变化。

研究者们分析了初代harness(论文里叫mini-SWE-agent)的失败模式,发现了四个常见的坑。

第一个坑是,如果模型花太多步数还没提交结果,系统会直接判定任务超时,提交一个空结果。相当于考试铃响了,学生还没写完答案,监考老师直接把试卷收走,交白卷。

第二个坑是,有时候模型确实改了代码,但新建的文件没有被git系统追踪到,导致最终提交的补丁是空的,等于白干了一场。

第三个坑是,模型编的代码可能用了一个它自己猜测出来的函数名或接口,这个接口在真实代码库里根本不存在或者叫法不对,导致修改表面上看起来完成了,实际上是错的。

第四个坑是,提交的补丁格式有问题,根本无法被应用到代码库上。

针对这四个坑,优化后的harness加了四道"关卡"。

快到步数上限时,系统会提前警告模型,催它赶紧做个保底提交,而不是任由时间耗尽交白卷。

当检测到提交的补丁是空的,系统会暂停接受这次提交,提示模型用特定命令把新建文件加进版本控制。

当模型第一次提交通过了"空补丁检测"后,系统会追加一次检查,要求模型去翻看代码库里现成的测试用例,核对自己编的接口名字和参数是否真的符合代码库的习惯用法,而不是凭感觉编。

最后,如果提交的补丁格式有问题导致无法应用,系统会用一个备用方案,直接从沙箱环境里提取真实的代码差异来兜底提交。

论文里给出了一个真实案例对比,任务是修复Sphinx文档工具里一个关于mock对象继承关系展示错误的bug。用旧harness跑,模型辛辛苦苦改完代码、测试全部通过,最后却只打印了一段文字总结当作提交内容,完全没有附带代码补丁,整个工作白费。换成新harness跑同一个模型,系统在它准备用文字总结收尾时,检测到提交补丁是空的,给出提示,模型这才意识到问题,重新生成了真实的代码差异并提交,任务顺利解决。

这个对比特别能说明问题:模型的能力和它展现出来的结果,中间隔着一层"流程设计"。同样聪明的厨师,用了合适的厨具,才能把脑子里想好的那道菜真正端上桌。

两个人一起变强,比各自变强的总和还多

这篇论文里我觉得最有意思的发现,是一个"1+1大于2"的现象。

研究者做了一个交叉验证实验:把优化前的策略模型配上优化后的harness,再把优化后的策略模型配上原始harness,分别看效果。

结果是,基础模型配上第二轮优化后的harness,解决率从61.0%提升到64.5%,提升了3.5个百分点。基础harness配上第二轮优化后的策略模型,解决率提升到64.4%,提升了3.4个百分点。

把这两个提升简单相加,是6.9个百分点。但当两个优化后的组件真正放在一起时,解决率达到69.5%,比基础版本提升了8.5个百分点,比简单相加还多出1.6个百分点。

这个"多出来的1.6个百分点"特别值得咀嚼。它说明harness的改进和policy的改进不是两条互相独立的轨道,它们之间存在协同效应,磨好的刀和练好的手艺放在一起,发挥出的效果比单独各自发挥的加总还要好。

这就像团队合作里经常出现的现象:两个能力各提升了20%的队友凑在一起,整个团队的产出可能提升超过40%,因为更高的个人能力让彼此之间的配合摩擦变小了,原本因为能力不足导致的沟通成本和返工被省掉了,这部分省下来的,也变成了额外的产出。

不只是会得更稳,还能解更难的题

论文里还有一个角度特别值得说,就是区分"可靠性"和"能力上限"这两件事。

**论文用了pass@k这个指标来衡量能力上限,意思是给模型k次尝试机会,只要有一次成功就算过关。pass@1则衡量的是单次尝试的可靠性。**

实验给基础模型和Self-HPO各做8次独立尝试,结果显示,从k=1到k=8,Self-HPO在每一个k值上都比基础模型表现更好,pass@8从80.0%提升到84.8%,涨了4.8个百分点。

更细致的分析是按任务难度分组看的。论文把任务分成"困难"(基础模型从来没解决过)、"中等"(偶尔能解决)、"容易"(大多数情况能解决)、"已解决"(基础模型本来就全对)四类。

结果很有意思:在中等难度任务上,pass@1提升了17.2个百分点;容易难度任务上提升了12.9个百分点;困难任务上提升了6.1个百分点;但在"已解决"的任务上,反而下降了2.2个百分点。

这个"反而下降"的细节不是什么负面消息,反倒揭示了优化的本质。模型在原来已经完全掌握的任务上稳定性有一点点损耗,但在原来做不好、做不到的任务上大幅提升。这说明Self-HPO不是简单地让模型在熟悉的套路上更娴熟,而是真正拓展了它能解决问题的边界。

打个比方,一个学生原本只会做基础题,通过强化训练后,中等难度和难题的得分率大幅提升,但在那些闭着眼都能做对的送分题上,偶尔会因为做题策略变了而出现一点小失误。这不是退步,这是学生的能力结构发生了真正的改变,从"保守刷熟题"转向"主动挑战难题"。

这件事还在被别人验证和延伸

Self-HPO这个思路发表之后,很快就有后续工作在探讨类似问题的不同解法。

论文里提到了WHALE这个工作,它也在做harness和权重的联合优化,但用的是一个固定不变的外部模型来提出harness改进建议,而不是让训练中的策略模型自己来当提议者。

另一个叫Evo2的工作,训练了一个单独的"提议者"模型来专门优化harness,但负责解决任务的那个模型本身是冻住不训练的,这和Self-HPO让同一个模型兼任"选手"和"教练"的设计思路不同。

还有一个叫HASE的工作,也让策略模型自己提议harness的修改,但它把harness编辑这个动作直接塞进了强化学习的动作空间里,变成策略学习要考虑的一部分,而不是像Self-HPO这样把harness搜索和策略训练分成两个交替的独立阶段。

这些对照工作放在一起看,能看出整个领域正在从"谁该负责改工具"这个问题上分化出不同路径,有的坚持用外部更强模型来当裁判和导师,有的坚持训练出一个专职的内部评审员,也有的尝试把两件事彻底揉在同一个决策循环里。Self-HPO选的是一条相对朴素但效果扎实的路:让同一个大脑,在不同阶段切换角色,既是运动员也是教练。

写在后面

读完这篇论文,让我印象最深的其实不是最终那个69.5%的数字,而是那个"交叉验证"实验揭示出的协同效应。

一般我们看AI论文的实验设计,大多是"方法A比方法B好多少",很少有论文愿意花精力去拆解"两个改进分别单独起作用是多少,加在一起又是多少",这种拆解其实挺费工夫,但它回答了一个更本质的问题:两个改进之间到底是简单叠加,还是真的产生了化学反应。

这篇论文给出的答案是真的产生了化学反应,这件事本身比最终分数高多少更有价值,因为它暗示了一个更普遍的规律:工具和使用工具的人之间,存在一种只有两者都升级到位才能释放出来的隐藏红利。这个红利平时被锁着,只优化一边永远拿不到。

另一个让我停下来想了很久的细节,是那个"已解决任务反而下降2.2个百分点"的数据。大多数论文遇到这种"退步"的数据,习惯性地会想办法解释掉或者干脆不提。这篇论文把它坦然地摆出来,还给出了一个说得通的解读:模型的资源分配策略变了,它把更多精力投向了原来搞不定的难题,代价是在送分题上偶尔多犯一点小错。

这让我想到一个更大的问题:当我们训练AI系统的时候,是不是也应该习惯性地去问,这次优化是在哪里花掉了什么样的代价,而不是只盯着总分涨了多少。一个只看总分的评估体系,很容易把这种"有得有失"的真实变化,简化成一条干净的上升曲线,却看不见曲线背后真正发生了什么。

如果有一天,AI智能体真的能够完全自主地同时优化自己的"大脑"和"工具",那它改进的速度会不会突然加快,还是依然会撞上某个看不见的天花板?这个问题,目前谁也说不清楚。

Q&A

Q1:Self-HPO是什么?

A:Self-HPO是一种让代码AI智能体自我进化的训练框架,它让模型交替优化自己的工作流程(harness)和自身参数(policy),用自己当下的能力去分析失败案例并提出工作流程改进方案,再通过强化学习提升自身能力,两者循环推进。

Q2:Self-HPO的效果比单独优化好多少?

A:在SWE-Bench Verified等三个代码任务基准测试上,Self-HPO把平均解决率从57.8%提升到64.8%,比单独优化策略模型或单独优化工作流程的方法都更好,而且两种优化叠加带来的提升超过了各自单独提升之和。

Q3:Self-HPO需要依赖更强的外部模型吗?

A:不需要,Self-HPO的核心设计就是让模型自己当工作流程的提议者,不依赖外部模型。但如果额外引入更强的外部模型(比如Opus 4.8)来提议改进,效果能进一步提升,解决率可以达到71.6%。

文章标签智能体

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。