Anthropic 官方博客 claude.dev 上更新了一篇长文,讲 Claude Code 团队内部是怎么做「验证」的。
作者是 Addy Osmani,就是之前在 Google Chrome 团队待了很多年然后在今年 9 月初加入 A\ 的那位,我们之前有介绍过。
文章开头先抛出了一个数字:Claude Code 团队约 90% 的代码,是由 Claude 编写、也由 Claude 审查的。
到了这个比例,怎么让 Agent 拿出证据来验证自己的工作,就变得格外重要了。
这篇文章分成两大部分。
第一部分讲测试选型。作者认为,不管用哪种测试,都要先避开两个坑:flaky(时过时不过)和太慢。
然后他推荐了三类最值得投入的测试:端到端测试(E2E)、属性测试、差分测试,分别对应「整个功能到底能不能用」「人想不到的边界情况」和「迁移前后行为是否一致」。
第二部分是 Claude Code 团队自己的做法,一共九条:
• 验证就是把改动真正跑起来,团队用一个叫 verify 的 skill 来固化这件事
• 检查连续三轮还不过,Claude 就停下来找人
• 代码的 owner 自己写检查规则
• 一份 39 项的可靠性清单,按 diff 内容触发,每次只查 3 到 10 项
• 不叠加审查者,而是一个审查者多轮迭代
• 改动不能修改评判它的那份规则
• 新的 commit 门禁先用 observe 模式试运行
• 定期给审查系统本身打分
• 把漏掉的 bug 变成规则,同时定期清理规则
最终的结论是:
有了靠谱的验证机制,人的工作就从逐行看 diff,变成定义「什么算完成」并审核证据,这才是能同时跑很多个 Claude 的前提。
下面是完整内容。
在 Addy 看来,验证闭环是把更多工作交给 Claude 的基础。
没有它,你基本上同时只能跑一两个 Claude,因为所有东西都得自己亲自检查;有了它,你就可以并行跑几十个甚至上百个。

给 Agent 一个验证自己产出的办法,本身就是提升质量的有效手段。
Anthropic 在结构化文件生成任务上做过内部测试:额外加一个独立的评分器,按 rubric 检查 Claude 的工作,任务成功率比标准的提示循环最多高出 10 个点,而且题目越难,提升越大。
另一个变化是验证变便宜了。测试、benchmark、规格文档、真实的端到端运行,以前都要花大量人力。
而现在,这些东西都可以直接让 Agent 生成,跟写代码一样快。
而且测试和 benchmark 一旦生成出来,就是一段可以反复运行的软件,频繁地跑也不会额外消耗多少 token。
验证的结果还能反过来提升 Agent 在这类任务上的表现。
比如 Agent 总是过不了某个「检查日志里有没有用户数据」的测试,那你就可以加一个 hook,或者在 CLAUDE.md 里写一条更明确的规则。这样做以后,同样的问题(基本上)就不会再出现了。

那么,既然验证对「又快又好地写代码」这么关键,到底该用哪些测试,又该在流水线的哪些环节用呢?
不管选哪种测试,都有两个坑要先避开。
如果测试是 flaky 的,你等于在训练 Agent 遇到失败就重跑一遍,而不是去修代码。
如果测试太慢,Agent 在每批改动里跑的测试就会变少,出了问题也很难定位到底是哪里坏了。比较重的测试,则最好放在提交改动之前去跑。
避开这两个坑之后,Addy 推荐的是下面三类测试:
如果只能重点投入一种测试,Addy 的建议是端到端测试。
E2E 测试描述的是真实的用户流程,比如把商品加入购物车、结账、跳转到订单确认页。
它之所以好用,是因为很难被糊弄:整个功能要么能用,要么不能用。它有明确的完成标准,也能具体告诉你哪里坏了。

图里左右两边,是同一个结账功能挂掉时的样子。
左边是单元测试 checkout.test.ts,只给了一句「Error: Timeout after 30s」(超时 30 秒),没有步骤、没有 trace,基本等于盲修。
右边是端到端测试 checkout.spec.ts,它列出了每一步的执行情况(注册、加入购物车都通过了,结账失败,确认页没有到达),附带结账页的截图,图里能看到「支付表单加载失败」,「下单」按钮也是灰的。
最后,它还写明了是哪一步出的问题:支付表单一直没加载出来,所以「下单」按钮始终不可点。
单元测试确实更快,也没那么 flaky,但完全可能出现单元测试都过了、功能却已经坏掉的情况。原因是 Agent 和测试都不理解完整的任务是什么。
所以做 E2E 测试时,比较有效的办法是给 Agent 一双手和一双眼,让它直接去操作真实运行的系统。
你可以写一个 skill,让它借助 CDP [1]、模拟器或 API harness,自己去启动、操作和检查应用。
功能地图(feature map)也可以拿来当 Agent 的指南和评分标准。这类文档通常是从用户视角列出每个功能,写清楚操作路径、快捷键、选择器和预期结果,正好可以直接交给 Agent 对照着测。
很多测试,都是按「你觉得可能会出什么错」来写的。
属性测试关注的,则是人们往往会漏掉的边界情况,而这正好是 Agent 最容易翻车的地方。
具体做法是先写一句你认为不可能被推翻的陈述,然后用测试库自动生成成千上万个输入,想方设法去推翻它。

常用的库有 JS/TS 的 fast-check [2]、Python 的 Hypothesis [3]、Rust 的 proptest [4] 等。
几乎每个软件项目里都有大量这样的属性,比如:
• 往返编码(round-trip):把 X 编码再解码回来,得到的还是 X。解析和序列化也适用
• 不变量(invariant):永远必须成立的事,比如「账户余额永远不能变成负数」
• 幂等性(idempotency):同一个操作(迁移、规范化、重试)做两次,和做一次的效果一样
• 等价性(equivalence):优化后的代码,和朴素但正确的版本输出一致
属性测试库很适合用来让 Agent 保持诚实,因为它生成的边界情况,不会带着写原始代码的那个 Agent 的偏见。
另外在重写项目时它也特别有用。这种时候规格文档往往早就和线上的实际行为对不上了,已经没法再当验证依据,而属性还是成立的。
差分测试拿旧系统当标准答案。
它尤其适合大规模迁移 [5]这类功能本应保持不变的场景。做法是用同样的输入,同时跑旧系统和新系统,看结果有没有差异,只要有差异,就说明存在需要修的 bug 或破坏性变更。
差分测试的关键在于输入,要用随机生成的输入,或者采样一部分线上真实流量。
同时还要把空白字符这类无关因素规范化掉,并维护一份「已批准的差异」清单,因为有些地方新环境本来就应该和旧的不一样。

A 社此前已经写过一篇文章,介绍 Anthropic 内部的 code review 是怎么做的 [6],这篇则更进一步,讲团队怎么验证自己的工作,一共九条做法。
把应用端到端地跑一遍,比测试更重要。
你不会不在模拟器里试一下就上线一个 iOS 改动,对 Claude 也是一样。
Claude 完全可以像人或 QA 工程师那样去测试整个应用:Web 改动就让它用 Claude 的 Chrome 扩展,移动端用 iOS 或 Android 的 MCP,桌面端用 computer use,后端则让它在本地把服务跑起来。
至于怎么启动模拟器、怎么跑起你的应用,团队的做法是写一个叫 verify 的 skill 来固化下来。
它放在仓库的 .claude/skills/ 目录下,位置离相关代码越近越好,需要几个就写几个。Claude 知道在提交改动之前要先用 verify skill。

然后,要花力气把这个 verify skill 做得又快又稳。可以让 Claude 自己去迭代它、给它做压力测试,因为它就是你的冒烟测试 harness,必须坚如磐石。
只要给 Claude 一个端到端冒烟测试自己改动的办法,效果就会好很多。你会看到它像人一样反复迭代,更快地发现真实的错误。
Anthropic 内部几乎所有的改动,都是这么测的。
没有人能看完每一处改动,所以团队把「测试失败」当成判断哪些地方需要人介入的依据之一。
Claude 会自己跑检查,遇到失败就试着修。如果三轮之后检查还是没通过,Claude 就会停下来,把人叫进来。

谁负责这块代码,谁就来写它的检查规则,并不断打磨,直到这些规则能标出 owner 本人会标出的问题。
当某个检查需要把审查者拉进来时,它应该写明原因,这样审查者就不用自己再从 diff 里推断出了什么事。
团队维护着一份 39 项的可靠性清单,每一项都由三部分组成:一个能从 diff 里读出来的触发条件、一项检查,以及当初催生这一项的事故或 PR。
其中一项是「--resume 能加载旧的会话记录」。每当会话存储或消息类型有改动,就要确认新加的字段能不能被安全加载,因为旧的会话记录里不会有这个字段。
Claude 会读 diff,只检查触发条件对得上的那几项,通常是 3 到 10 项,这样就没有人需要去死记过去出过哪些故障了。

团队不靠堆审查者来提升 review 质量。
在主审查者之外再加一个更贵的二号审查者,效果往往还不如把主审查者调好。他们的做法是写一份 REVIEW.md [7],写明审查这块代码时应该重点关注什么。
另外,团队认为每一轮 review 和验证都应该建立在前几轮的基础上。每一轮都会带上之前几轮的上下文和过去的失败记录,而不是每次都从零开始重新检查一遍。
这样更便宜,发现的问题也更多。
如果一个改动可以修改评判它的那份检查,那这份检查就已经失效了。
所以 Code Review 读取 REVIEW.md 时,用的是 base 分支或默认分支上的版本,绝不会读 PR 里改过的那份 [8]。Claude Code 团队会确保所有用来把关改动的规则,都放在改动本身碰不到的分支上。

团队还规定,review 只针对确定的 commit 来做。如果 review 进行到一半时,有人又推了新代码,那这次 review 的结果就已经没有意义了:在过时的 commit 上拿到的「通过」,什么都说明不了。
团队的另一条原则是先跑便宜的检查。如果 Agent 没在本地测试就直接推了代码,它就白白占用了大家共享的 review 和 CI 资源,而这个 bug 本来它自己就能发现。
在 Claude Code 团队,Claude 会在开 PR 之前先跑完测试、构建和 linter。你也可以用一个 hook [9] 在 Claude 完成任务时自动跑测试,或者把「测试全部通过」设成一个 /goal [10] 来强制执行这一点。
在团队自己的仓库里,每个 commit 都会被打上一个「怎么验证过」的标记。这个标记甚至包括「none」(没验证),方便专门查出那些没经过验证的 commit。
团队还做了一个 commit 门禁:如果这次会话里既没跑过 /code-review 也没跑过 /verify,就拦下这个 commit。门禁分三档模式:
在 enforce 模式下,任何 commit 都可以在提交信息里说明为什么没做验证。
而且如果同一个会话里已经被拦了两次,第三次就会放行,免得 Claude 卡死在这里(原文还自嘲了一句,Claude Code 也不是完美的……)。

Claude Code 团队还会定期「审查审查者」。
他们跟踪三类数据:合并后被回滚(revert)的改动有多少,合并前被维护者拒掉的改动有多少,以及一组规模相当、合并后一直没出问题的改动。
这件事也可以做成正式的评测。在前面提到的 code review 那篇文章 [11]里,Code Review 团队就基于过去的事故和回滚记录搭了一套评测:
• 每个样例都会把仓库恢复到当时 review 时的状态,并附一句话的标准答案,说明那个 bug 是什么
• 只有准确描述了这个 bug 的发现才能得分
• 用已经合并且一直稳定的改动作为对照组,防止审查系统过度报错
• 调参用的数据集,和最终评测系统用的固定测试集是分开的
他们还会把原始发现、验证之后、最终 review 这三个阶段的召回率分开评估,这样就能看出系统有没有把已经找到的 bug 在后面的环节里弄丢了。

如果只看一个端到端的总分,是看不出这一层的。
除了「对不对」,团队关心的另一个维度是「这个改动有多重要」。
一个好的审查者能抓出大部分技术上成立的问题,但人们真正在意的是:这个 bug 是必须修、应该修,还是只是个小毛病(nit)。
Code Review 就是按这个思路来做的,它会给问题打上 Important、Nit 或 Pre-existing [12] 的标签。其中 Pre-existing 的意思是,这个 bug 本来就存在,审查者不应该让作者为它负责。

最后,团队会把召回率一直往上调,直到再往上提升就会变成对评测集的过拟合,而不是真的在抓 bug,到这里就停。
在 Claude Code 的仓库里,有两种把漏网之鱼变成规则的方法。
第一种是从人工 code review 的评论和 PR 回滚记录里提炼常见问题的模式。一个模式要成为候选规则,必须至少在两个 PR 里出现过,而且能从 diff 里识别出来。
之后会有三个 Agent 分别尝试推翻它,最后再由人在 PR 里审核批准。
第二种是拿三个 bug 查找器,去重放一个和已知事故相关的 PR。如果至少有两个找到了这个 bug,说明它是可以被检测到的。
而如果在一个很小的 diff 上都漏掉了,那就是一个缺口,值得写成 REVIEW.md 里的一条规则。

flaky 的测试也是同样的处理方式。Claude 不能跳过它们,不能加 sleep,也不能一直重试到通过为止。
如果找不到根本原因,就删掉这个测试,并写下删除的理由。
规则本身也需要清理。测试套件、验证步骤和各种 .md 文件,只要你放任不管,就只会越来越多,所以团队会定期整理它们。
Addy 在最后总结说,给 Agent 一个验证自己工作的办法,再配上足够强的反馈,效果会完全不一样。
他的建议是,像对待其他任何系统一样,去对待你的验证层。
让它远离被它评判的改动,用真正给你造成过麻烦的 bug 去给它打分,漏掉问题时把教训写下来,保证同一个错误不犯第二次,再定期修剪这些教训,让它们一直值得跑。
做到这些之后,你的工作就会从逐个阅读 diff,转变为定义什么叫「完成」、再去审核证据。
这也正是能同时跑很多个 Claude 的前提。
◇ ◆ ◇
