
Anthropic负责开发Claude Code的团队,现在有大约90%的代码全由Claude自己编写和审查。

一个人本来只能盯一两个AI,因为每行代码都得人眼去查。有了证据闭环,一个人就能同时指挥几十个甚至几百个Claude并行工作。
内部测试显示,在结构化文件生成这类任务中,让独立的判分工具对着标准去检查Claude的产出,任务成功率能直接提升10点。越难的问题,提分越明显。
过去生成测试、基准和技术规范的成本极高。现在AI几秒钟就能生成一套。这些测试一旦生成,就变成了按程序运行的软件,反复跑也不会消耗太多Token。
如果AI反复在同一个地方犯错,比如总在日志里打印用户数据,开发人员就在CLAUDE.md写进明确规则,或者加一道钩子。这样就能在后续任务中拦截同类问题。
要让这套体系跑起来,得避开两种常见的死法:
测试不稳定,AI就会学会反复重试刷通过,不去真正修代码。
测试太慢,AI批量排查的频次就会变低,定位问题会变得非常艰难。
团队筛选出了三种最值得投入的测试方法。
第一种是端到端测试
如果精力只够做一种测试,首选端到端。

这类测试直接模拟用户真实操作,比如把商品放进购物车、结账、跳转到支付成功页。
这类测试很难被投机取巧绕过去。整个功能要么通,要么不通。
单元测试超时只会报错说30秒超时,根本看不出哪里卡住。端到端测试会直接截屏,给出一整条执行轨迹,清楚指出结账按钮为什么处于禁用状态。
团队会让Claude拥有操作真实环境的权限。通过Chrome插件测试网页,通过移动端模拟器测试手机App,通过桌面控制测试桌面软件,或者直接在本地拉起后端服务。
功能地图会列出真实用户的操作路径、快捷键和预期表现,这直接作为AI的施工指引和判分标准。
第二种是属性测试
很多测试只覆盖了人类能想到的漏洞。属性测试专抓人类和AI都会漏掉的极端边缘场景。
做法是先写下一条绝对不能被打破的规则,然后用fast-check、Hypothesis或proptest这类工具自动生成成千上万个随机输入,全力尝试把程序测崩。
常见的规则包括:
数据序列化之后再反序列化,必须能完整还原。
账户余额永远不能变成负数。
同一套迁移或清洗逻辑执行一次和执行两次,结果必须完全一样。
优化后的新代码和没优化的老代码,输入相同时输出必须完全一致。
这些随机边界条件不带主观偏见,非常适合防范AI瞎写,在原有规范已经脱离生产实际的重构场景里尤其管用。
第三种是差异测试
在大规模系统重构迁移时,系统功能通常要求完全不变。
这时候把老系统和新系统并排放在一起,喂给它们完全相同的随机输入或者生产流量切片。只要两边输出不一致,就说明新系统存在Bug。
做差异测试需要过滤掉空格等无关干扰项,并且提前列出一份允许新老系统存在差异的放行清单。
Claude Code团队自己的实战规则
只要改了代码,就必须在真实系统里完整跑一遍。
团队在代码库的.claude/skills/目录里放了一个名为verify的技能。Claude在提交代码前,必须自动调用这个技能。
写这块代码的人负责编写对应的检查逻辑,直到这套检查能够准确抓出人类会抓的问题。检查工具只要叫人来介入,就必须讲清楚原因,不需要人工去啃代码变动。
测试如果挂了,Claude会自己尝试修复。如果连续改了三轮依然通不过,Claude会立刻停手,呼叫人类介入。
团队还维护了一张包含39项可靠性指标的核对表。每一项都有明确的触发条件,比如检测到会话存储或者消息类型发生了变动,就会触发老版本记录能否正常加载的专项检查。
Claude会自动分析代码变动,每次只激活匹配上的3到10条规则,不需要任何人去死记硬背历史事故。
代码审查只用单人多轮模式。叠加第二个人工审查员成本高而且效果差,不如把主要审查员的提示词调优。
团队用REVIEW.md规定审查重点。每一轮检查都直接继承上一轮的上下文和之前的失败记录,不需要从零再过一遍。
有一条底线不可动摇:被审查的代码绝对不能修改审查规则本身。
审查工具读取的REVIEW.md永远来自基础分支,绝不采纳来自本次提交的修改。
必须在代码正式生成提交记录之后再做审查。如果在审查过程中代码还在被推送修改,审查结果就完全作废。
便宜的检查必须先跑。在提交PR之前,Claude必须在本地跑完测试、构建和代码格式检查,避免浪费共用的CI资源。
新增拦截卡点时,系统先进入观察模式。
观察模式只记录哪些提交会被拦截,用来排查误报。
确认没问题后转为强制模式。未通过检查的提交会被直接拦截。如果同一个会话里提交被连续拦截了两次,系统会强制放行第三次,防止AI彻底卡死。每个提交都会被打上验证标记,即便没做验证也会标明无验证,方便后续检索。
审查系统自身也要接受持续考核。
团队追踪合并后被回滚的比例、负责人合并前打回的比例,以及长期保持稳定的代码样本。
在评估体系里,团队会还原历史事故发生时的代码状态,给出单句标准答案。审查系统只有准确指出这个具体Bug才能得分。
系统会把检查结果分为必须修复、建议修复和历史遗留问题。如果是历史遗留缺陷,系统不会判定当前提交者违规。
漏掉的Bug会直接转化为新规则。
第一种方式是分析人类的审查留言和回滚记录。只要同一个问题在两次提交里重复出现,而且能从代码变动中识别出来,就立为候选规则。团队会派三个独立的AI尝试推翻它,最后由人类合并进主分支。
第二种方式是用三个找Bug的工具重新跑历史事故PR。如果有两个工具都能抓出问题,而代码改动量又很小,这就说明规则库存在漏洞,必须补写进REVIEW.md。
对于偶发不稳定的测试用例,Claude不允许跳过,不允许加等待时间,也不允许单纯重试直到通过。如果找不出根因,Claude必须删掉这个测试,并写明删除原因。
规则文件、测试用例和验证脚本也会定期做清理,防止臃肿。
把验证系统当作独立系统来严格对待,把规则放在AI改不到的地方,漏了问题就补上规则,失效的规则定期清理。
做到这些,人类的工作就不再是逐行看代码,而是明确完成的标准,直接查看AI提供的运行证据。
参考:
https://claude.dev/blog/how-the-claude-code-team-thinks-about-verification/
--end--
最后记得⭐️我,每天都在更新:如果觉得文章还不错的话可以点赞转发推荐评论
/...@作者:心兰







