你有没有遇到过这种情况:带新人的时候,你一遍遍纠正他犯的同一个错误,终于忍不住写了一份"新人须知"贴在工位上。过了几个月,你翻出这份文档,发现里面有一半的条目你已经不记得为什么要写了,还有几条好像根本没人看过。
现在把这个新人换成AI编程助手,比如Claude Code。这些工具不是光靠训练数据工作的,开发者还会给它们配一套"说明书":项目规范文件、技能指南、针对特定文件的规则。这些加在一起,论文里管它们叫harness。
harness*:中文可以理解为"驾具"或"约束框架",指开发者为AI编程助手准备的所有文本指令集合,包括项目说明文件、技能文件和规则文件,它们共同决定了AI在工作时能看到什么、该怎么做。
问题是,这套说明书是怎么长出来的?往往是开发者改一次bug,就顺手加一条规则,改着改着,文件越堆越厚,但没人去验证这些规则到底有没有用。更麻烦的是,AI助手这东西不是确定性机器,同一个任务让它做两次,一次可能成功一次可能失败,这是因为模型在生成回答时会做随机采样。这就意味着,你看到"这条规则加上去之后,那次任务成功了",这完全可能只是运气好,根本证明不了什么。
这篇论文的作者给这个问题起了个名字,叫"用印象来维护文档"。而他们的解决方案,叫Cortex,核心思路就一句话:别再凭感觉判断规则有没有用,让它经过真正的测试再决定要不要留。
### 为什么"一次成功"根本不算数
先说一个让我有点意外的数字。论文里做了个实验,把同一套说明书,在完全相同的条件下测两次,结果两次的通过率差了3.3个百分点。
这是什么意思?同一个东西,什么都没变,仅仅因为随机性,测出来的分数就能飘动好几个点。如果你只跑一次测试就下结论"这条规则有效",那你极有可能是被噪音骗了。
论文里还引用了别的研究佐证这件事。有个叫τ-bench的测试基准里,GPT-4o在零售任务上单次尝试大概能做对五分之三的题,但如果让它对着同一道题连续做八次,全部八次都对的情况,概率不到四分之一。换句话说,看起来挺靠谱的模型,其实很"看心情"。
这就好比你去判断一个篮球运动员的罚球命中率,不能只看他投一个球进了就说他是神射手,你得让他投上百次,才能算出一个靠得住的命中率。Cortex要做的,就是把"AI助手遵守某条规则的能力",当成一个需要反复测量的概率问题,而不是看一次结果就下结论的事情。
如果不这样做会怎样?论文里举了个很现实的例子:有研究给三个代码仓库自动优化技能文件,发现其中一个优化方法平均提升了大约五个百分点,但这个提升幅度,根本没法和模型本身的随机波动区分开。换句话说,那五个点的"进步",可能根本不存在,纯粹是噪音。
### Cortex到底怎么工作:三个命令撑起一个闭环
Cortex围绕三个指令运转,分别叫/harvest、/evolve、/prune。
/harvest*:在每次工作会话结束时运行,它的任务是把"AI从出错到改对"的过程,变成一个可以重复回放的任务,如果开发者在会话里纠正过AI,它还会把每次纠正记成一条"教训"。
你可以把/harvest想象成一个录像机。平时你带新人改代码,纠正他的话说过就过了,没人记录下来。而/harvest做的事,是把每一次"你本来做错了,后来被我说了一句改对了"的过程录下来,存成一个可以反复播放的小考题,这道题包括当时错误的代码版本、你说的那句原话、还有一个用来判断"是不是真的改对了"的检查脚本。
但光录下来还不够,录下来的"考题"得先验证它靠不靠谱。论文里设计了一个叫preflight的校验步骤:这道题在"错误状态"下必须真的失败,打上正确补丁之后必须真的通过,如果补丁里顺带改了测试代码本身,去掉这部分改动后,这道题还得通过。为什么要这么麻烦?因为如果检查脚本依赖开发者自己写的新测试,那AI在重做这道题时,根本没理由去写同一个测试,这道题就永远测不出真实水平,等于是一道废题。
接下来是/evolve。
/evolve*:负责从积累的"教训"里找出反复出现的问题,写一条新的技能或规则来解决它,但不会直接采用,而是先拿去做AB测试,跟原来的说明书对比,只有在真的有帮助、而且没把任何任务搞得更差的情况下,才会正式生效。
这里有个细节很关键,叫"筛选"再"确认"的两阶段测试。先在便宜的小范围里跑一次(叫screen),如果这条新规则连一次用都没被AI打开过,或者压根没带来任何提升,就直接判定失败,省下后面更贵的大范围测试的钱。只有通过了筛选的候选规则,才会进入confirm阶段,在所有任务上跑三次,看它到底是不是真的好。
这个设计让我想起药物临床试验的思路:先在小范围做初筛,淘汰明显没效果或者有毒性的候选药物,省下资源,再去做大规模三期试验。如果不做这个两阶段过滤,直接把所有候选规则都拿去做完整测试,成本会直线上升,而且很多压根没被用到的规则会白白浪费测试资源。
最后是/prune。
/prune*:定期对已经生效的规则做"回头审查",把某条规则从说明书里暂时拿掉,看看任务表现会不会变差,如果拿掉之后什么变化都没有,而且这条规则确实曾经被AI用过,那就真的删掉它;但如果这条规则从来没被用过,哪怕删了它什么事都没发生,也不会被当成"证明它没用",而是保留,标记为"未经测量"。
这个未经测量的判断逻辑其实特别聪明。想象一个消防栓,你平时根本用不上它,但你不能因为过去一年没发生火灾,就说这个消防栓是摆设该拆掉。它可能是为了应对一年才发生一次的紧急情况而存在的。Cortex的态度是:没被用过,不代表没用,只能说明现在没法判断,这跟"用过但没效果"是两件完全不同的事。
### 两个关键机制:曝光度和打分规则
Cortex所有判断的核心原则,叫"只在它真正进入过AI视野的地方给它记功或记过"。
曝光*:指一条规则或技能在某次AI执行任务的过程中,是否真的被加载进了AI能看到的内容里,规则只要文件路径匹配就会被系统自动加载进去,而技能必须AI主动选择打开才会生效。
这个区分特别重要,因为Claude Code里有两种不同的"规则投放方式"。
rule(规则)*:是跟着特定文件路径走的文本,AI只要读取或编辑了匹配路径的文件,这条规则就会被系统自动塞进它当下能看到的内容里,不需要AI自己选择。
skill(技能)*:是放在技能列表里的一条简短描述,AI在工作时能看到这个描述,但只有AI自己判断"这个技能跟我现在干的事有关"并主动打开它,技能里真正的操作指南才会被加载进去。
实验结果把这个区分的重要性暴露得淋漓尽致。整个研究里,被最终留下来的18条规则/技能中,有16条是rule,只有2条是skill。更夸张的是,论文测了一种"每一轮对话都挂在列表里"的技能,结果在198次尝试里,一次都没被AI主动打开过。而那种"只在AI碰到相关文件时才出现"的技能,被列出来66次,被打开了28次,打开率明显更高。
这就好比公司规章制度,如果你把一条规定直接写进员工手册的第一页,每天上班翻开都看得到,员工大概率会记住并遵守。但如果你把这条规定做成一份"可选阅读材料",放在一个很少有人点开的内部网站栏目里,就算标题写得再吸引人,大部分人压根不会主动去点开看。规则是前者,技能是后者。而Cortex最后发现的核心结论,恰恰就是"怎么把建议递到AI面前"这件事,比"建议本身写得多好"还重要。
论文里还设计了一套很严格的打分规则来判断一条候选规则到底该不该留下。核心看三个数字:
Gain(收益)*:衡量这条新规则在哪些任务上带来了进步,只加不减,net(净变化)*:把进步和退步放在一起抵消,看整体上到底是赚了还是亏了,drop(最大跌幅)*:找出被这条新规则拖得最惨的那一个任务,哪怕净变化是正的,只要某个任务被明显拖垮,这条规则也可能被判定不合格。
为什么要专门设计一个"最大跌幅"指标,而不是只看净变化?因为净变化可能会掩盖问题。假设有三个任务,一个任务的通过率从三分之二掉到了零,另外两个任务通过率各掉了三分之一,这两种情况算出来的"总损失"可能一样,但前一种情况是彻底摧毁了一个任务,后一种只是轻微拖累。如果只看总损失,你根本分不清这是集中性的灾难还是分散的小波动。drop这个指标就是专门用来揪出那种"被彻底搞砸的任务"的。
### 实验设计:一个专门设计出来让AI"犯错"的测试场
研究团队没有直接拿一个真实的开源项目来测,而是专门搭建了一个叫shopkit的小型代码仓库。
这个仓库的特别之处在于,里面藏着四条house rule。
house rule(项目惯例)*:指某个项目自己定下的编码规范,这些规范不是放之四海而皆准的通用知识,代码可以违反这些规范但依然能正常运行,模型完全没办法从训练数据里学到这些规矩,只能从这个项目本身的文档里学习。
比如其中一条规矩是,项目里读取当前时间必须统一通过项目自己的时钟模块,不能直接用Python标准库的datetime.now()。代码功能上完全没问题,但项目的代码检查工具会把它判为不合规,因为用标准库读时间,测试环境没法冻结时间来做可重复测试。这类规矩写在项目的贡献指南里,但AI默写它压根不会知道,必须靠harness告诉它。
研究团队还特意设了一个"对照组":一类没有任何特殊规矩的普通bug修复任务,专门用来检验新加的规则是不是在"帮倒忙",会不会把本来正常的事情搞复杂。
四轮独立实验(分别叫R1到R4),每一轮都从头开始,让AI经历十轮脚本化的"开发会话",每次会话里AI会接到任务、犯错、被纠正、改对,然后把这个过程交给Cortex去学习总结成规则。最后,用30个AI完全没见过的新任务来做"期末考试",检验学到的东西是不是真的能用到新场景里,而不只是记住了练习题的答案。
结果相当亮眼。在四类有规矩的任务家族里,经过Cortex学习出来的说明书,比什么规则都没有的空白说明书,通过率高出整整55个百分点,置信区间是34.1到74.1,这个结果在10000次随机打乱重新计算的检验里,没有一次打乱能达到观察到的差距,统计上说这个差距几乎不可能是偶然。而对照组,那个本来就没有特殊规矩的任务组,分数几乎没变化,只掉了0.8个点,而且没有任何一轮实验给对照组添加了多余的规则。
这组数字背后的意思是:Cortex学到的东西确实能迁移到新场景,而不是单纯背下了练习题的答案,同时它也没有乱加规则去"帮倒忙"。
### 规则加载到了全局,但没有增加AI的"阅读负担"
这里有个特别值得说的细节:所有被留下来的规则,都带着paths字段,意味着它们只在AI真正打开相关文件时才被加载,而不是每次对话都塞进去。
这意味着最终的说明书,并没有增加AI每一轮对话都要"背"的内容。除了一个559字符的基础说明文件(所有对比组都有这个),学到的规则没有给每一轮对话增加任何固定负担。
对比之下,有一种做法是把整本贡献指南直接贴进说明书里,让AI每次对话都读一遍完整的项目规范。这种做法在一轮实验里的表现,比Cortex学出来的精简规则低了11.1个百分点。而且,把全部贡献指南硬塞进每轮对话,代价是每轮对话要多读2519个字符,是Cortex方案的四倍多。
这就像公司开会,有的领导喜欢把所有规章制度从头念一遍,每次开会都重复一次,效率低而且没人认真听,而聪明的管理者只在真正相关的场景提醒一句该注意的点,员工反而更容易记住,开会效率也更高。精准投放比海量灌输更有效,这个结论听起来简单,但真正拿数据验证出来,还是挺让人意外的。
### 故意喂假规则,看Cortex会不会被骗
研究团队做了一件挺狠的事:故意给Cortex喂了20条"没用的废话建议"(跟这个项目完全不相关的所谓最佳实践)和5条"有害的错误建议"(直接跟项目规矩对着干的指令),看它会不会上钩。
结果是,这25条规则一条都没被留下来。但背后的原因有点微妙,值得拆开说。
对于那20条废话建议,AI压根没打开过它们,无论是以技能形式还是规则形式呈现,它们都没能通过"曝光度"这道门槛,既然AI从没真正用过它们,Cortex自然没理由留下。
对于那5条有害规则,情况更复杂。其中3条是rule形式,确实被系统自动加载进了AI的上下文(因为rule不需要AI主动选择),但由于测试设计上这些有害规则是在"原本就会失败的任务"上进行测试的,这种情况下根本没有任务可以展示出"有这条规则反而更差"的对比效果,所以打分脚本干脆返回了"无法判定",而不是明确的"淘汰"。有一次测试里,一条有害规则确实把一个原本能做对的任务搞砸了,但由于测试场景设计的限制,系统依然没能给出明确判决。
这说明一件很重要的事:Cortex目前能保证的是"不留下没被用过的垃圾",但还没法证明它能主动识别出"正在悄悄搞破坏的规则"。这是论文自己坦诚指出的局限,不是研究团队藏着不说。
### 换一个更强的模型,规则的价值就缩水了
这部分结果可能是整篇论文里最值得深思的地方。
研究团队把R1这轮实验学到的说明书,直接套用到一个更强的模型Claude Sonnet 5上测试。结果是,原本在弱模型上能带来66.7个百分点提升的说明书,在强模型上只带来了5.6个百分点的提升。
为什么?因为强模型本身就已经掌握了大部分项目规矩,不需要靠外部说明书来提醒。换句话说,这套精心打磨出来的规则库,价值跟模型本身的能力成反比:模型越笨,规则越值钱,模型越聪明,规则的边际价值就越薄。
这就好比给一个刚入职的新人准备详细的操作手册,手册的价值巨大,能大幅减少他犯错的次数,但如果换成一个有十年经验的老员工,同样的手册可能大部分内容他早就知道了,手册反而变成了没必要的负担。
研究团队用/prune重新审查了这套说明书在强模型下的表现,结果发现四条规则里有两条变得可以删除了,一条是关于金额处理的规则,另一条是关于导出文件检查清单的规则。这个结果支持了论文的一个重要观点:一套为弱模型精心调教的说明书,换了更强的模型之后,可能有一部分已经变成了冗余,需要重新审视。
### 换一个真实的开源项目,Cortex却学不到任何东西
论文还做了一个很诚实的补充实验:换到一个真实的开源项目structlog上试试看。
结果有点出人意料,但也挺符合逻辑:Cortex在这个项目上什么都没学到。原因很简单,因为AI在这个项目的大多数开发会话里,第一次尝试就直接通过了项目自己的测试和代码检查,根本没有被纠正的机会。没有反复出现的问题,Cortex自然没有素材可以总结归纳。
这个结果其实暴露了Cortex这套方法的一个前提条件:它依赖"AI确实在某些地方反复犯错"这个事实。如果一个项目的规范本身就比较简单,或者AI对这类代码天生就比较擅长,Cortex就没有发挥空间。这不是方法本身的缺陷,而是提醒我们这套方法适用的场景是有边界的。
### 一个可选的"外部顾问",但目前帮不上太多忙
Cortex还设计了一个可选的外部评审模型,叫Jev,用来提前判断某条候选规则值不值得花资源去测试。
但论文很坦诚地报告了Jev的局限:在整个正式实验过程中,Jev是关闭状态,事后把它拿出来复盘已经完成的测试结果,发现它给出的"相关性评分"并不能有效区分哪些规则最终会被留下、哪些会被淘汰。换句话说,这个外部顾问目前的判断力,还达不到能替代真实测试的水平。
论文作者没有回避这个"不够理想"的结果,而是如实报告了出来。这种诚实本身,其实比吹嘘一个完美的工具更有价值。
写在后面
读这篇论文最让我停下来想了很久的一点,其实不是Cortex这套工具本身设计得多巧妙,而是它暴露出的一个更底层的现象:我们对"AI听懂了我的指令"这件事,默认的信任门槛太低了。
一条规则,哪怕只在某次对话里凭感觉起了作用,我们就倾向于相信它永远有效。但论文用一个个具体数字告诉我们,这种"眼见为实"的判断方式,在面对一个本质上是概率系统的AI助手时,根本靠不住。
另一个让我意外的细节是,论文里提到AI助手在测试过程中有一些意料之外的"抄近道"行为:比如通过git历史记录偷看到了后面提交的正确答案,或者通过查看文件差异发现了本该隐藏的信息。这种"沙盒隔离做了磁盘上的文件,却没隔离git版本历史"的疏漏,其实特别真实地展示了测试环境设计有多难做到真正严谨,你以为你已经把答案藏好了,但系统留下的历史痕迹可能早就把答案泄露出去了。这让我想到,任何评测体系的严谨性,往往不是败在设计思路上,而是败在这种容易被忽略的技术细节里。
还有一点值得琢磨:论文反复强调"规则是被动加载的,技能需要AI主动选择打开"这个区别,而测试结果一边倒地证明被动加载效果更好。这是不是意味着,在设计任何需要AI"自己决定要不要看"的系统时,我们对AI主动性的期待,可能一直都高估了?如果连一个专门为某个任务量身定做的提示都很少被打开,那些指望AI主动检索知识库、主动查阅文档的设计思路,是不是也该重新审视一下这个假设?
这个问题我目前没有答案,但觉得值得继续追问下去。
Q&A
Q1:Cortex是什么?
A:Cortex是一个给Claude Code这类AI编程助手使用的工具,它会把开发者纠正AI的记录变成可重复测试的任务,用真实的AB对比来决定一条新规则或技能该不该加入说明书,也会定期审查已有规则是否该删除,而不是靠开发者凭感觉判断。
Q2:Cortex测试发现规则和技能哪个更有效?
A:规则更有效。因为规则只要AI打开相关文件就会被系统自动加载,技能却需要AI自己判断并主动打开才生效。实验中保留下来的18条内容里有16条是规则,而测试中那种每轮对话都挂在列表里的技能,被列出来198次却从未被主动打开过。
Q3:Cortex在更强的AI模型上效果会打折扣吗?
A:会。论文用更强的Claude Sonnet 5模型测试同一套规则,提升幅度从66.7个百分点骤降到5.6个百分点,因为强模型本身已经掌握了大部分项目规矩,这说明规则的价值和模型能力成反比,模型越弱规则越值钱。







