在探索递归自我改进(RSI)的过程中,香港大学数据智能实验室(HKUDS)的研究者们发现,大模型在编程时,有时容易陷入一种思维定式。
代码出了问题就继续修Bug,修完仍然不行就再换一种方式修补。这些模型很难停下来思考是不是一开始选择的方法就错了。
反而是一个9B参数的小模型,有时能够跳出原有思路提出完全不同的算法,再交给大模型实现。
于是,团队尝试让Qwen3.5-9B负责提出策略,DeepSeek V4 Flash 0731负责写代码。这套思路最终迭代形成了一个名为AgentPilot的开源项目。

项目地址:HKUDS/AgentPilot
这个9B模型并不是简单地给大模型提供一次性建议。它会根据每一轮实验的执行结果不断调整决策,逐渐学会哪些方向更值得尝试,哪些方法应该放弃。
为了实现这一目标,AgentPilot构建了三个核心部分:AgentPilot Core、WorkSpace和RSI Arena。
其中,AgentPilot Core负责在线策略学习,WorkSpace负责技能与经验管理,RSI Arena则负责评估AI究竟能不能从任务中学习和进步。

01
AgentPilot Core:
让Agent学会决策与自我改进
AgentPilot维护了一份共享搜索状态。
可以把它理解成一份持续更新的实验档案,里面记录了此前尝试过的代码版本、不同版本之间的演化关系、每次实验的成功或失败结果、尚未探索的方向,以及剩余的实验预算。
基于这些记录,AgentPilot会选择一个值得继续优化的历史版本,判断是探索新思路还是改进现有方法,再从中选出最有潜力、最可行的行动方案。
为了让这些决策越来越准确,AgentPilot提供了两种互补的策略学习机制。
基于UCB的策略学习,具体采用KL-UCB方法。它会综合考虑过去尝试的效果和当前的不确定性,在利用已有成功经验与探索未知方向之间寻找平衡。
基于记忆的策略学习。它会把过去实验中获得的有效经验提炼成Policy Memory,不仅记录某种方法是否成功,还会保存它适用的条件和具体指导建议。随着新实验不断产生,这些经验也会得到强化、修订,或者在不再适用时被淘汰。
如果现有方法本身就存在局限,仅仅修补代码很难带来真正的突破。
因此,AgentPilot还设计了Research Workflow。
其中,Proposer负责分析当前任务、已有Harness和历史实验结果,找出当前系统的能力短板,并提出新的解决思路。
Worker则负责将这些想法付诸实践,通过代码实现、调试和测试验证效果,再将执行结果反馈回来。

02
WorkSpace:让Agent记住成功经验
WorkSpace定位为AI Agent的技能管理层,不是简单地建立一个越来越大的Skills文件夹。
它更关注技能是不是真的有效。
在实际执行过程中,WorkSpace会记录技能是否被选中、应用是否成功、任务完成度,以及最终有没有退回其他备用方案。
这些真实执行记录会成为技能质量评估的依据。如果某项技能经常无法完成任务,系统就可以根据反馈对其进行修订,新版本经过验证确实更好,再进行更新。
WorkSpace还支持本地优先的工作方式,开发者可以在自己的基础设施上保存和管理技能,也可以通过云端浏览和共享经过验证的技能。
这样不同Agent之间也有机会共享经过实际任务验证的工作经验。
03
RSI Arena:判断AI是否真的学会进步
RSI Arena通过多轮改进实验,评估Agent的学习能力和跨任务泛化能力。
项目选用AIME 2024+2025和Terminal-Bench 2.1作为测试基准,并与Codex、DeepSeek Harness、OpenEvolve和ShinkaEvolve等方案进行对比。
所有方案均基于Harbor的Terminus 2 Harness进行改进,分别使用Qwen3.5-9B和DeepSeek V4 Flash 0731作为任务执行模型。
实验结果显示,经过10轮改进尝试,AgentPilot在AIME 2024+2025和Terminal-Bench 2.1的未见任务上,最高分别提升了22.2和24.5个百分点。

这表明,9B策略模型能够通过不同的学习机制,为大模型选择更有效的改进方向。

04
AgentPilot使用教程
AgentPilot目前支持多种主流Agent工具,包括Codex、Claude Code、Hermes、DeepSeek Harness、WorkBuddy、Grok Bot等。
如果只是想快速体验,粘贴下面这段指令,Agent会根据指令尝试安装AgentPilot Skill,并检查安装。
请将AgentPilot安装为当前AI Agent的Skill。项目GitHub仓库地址:HKUDS/AgentPilot如果当前使用的是Codex桌面版,请同时安装本地插件,以便后续通过 `@` 符号选择和调用AgentPilot。安装过程中,请保留现有配置,不要覆盖或修改已有的其他设置。安装完成后,请检查Skill和插件是否正确安装,并实际验证能否正常调用。
安装完成后,就可以在项目中调用AgentPilot。可以给Agent分配一个具体任务:
帮我优化这个项目的性能,让它运行得更快。AgentPilot会检查任务、评测条件、模型和执行环境。如果缺少必要配置,就会提示需要补充的内容。条件满足后,便可以启动RSI改进流程。
对于希望深入研究的开发者,还可以单独部署AgentPilot Core、WorkSpace和RSI Arena,配置任务、评测基准与策略学习方法,开展完整实验。







