
Claude Codeチームが考える検証:エージェントが自らの作業を確かめる仕組み
Anthropicの記事によると、Claude Codeチームは検証ループや自動テストを用いて、AIエージェントが自らの作業を検証できるようにしている。同記事は2026-11-16付で、E2Eテストやプロパティテスト、差分テストなどの仕組みを紹介している。
Anthropicの記事では、Claude Codeチームが検証をどのように進めているかが説明されている。記事によると、検証ループにはE2Eテスト、プロパティテスト、差分テスト、verifyスキル、信頼性チェックリスト、レビュアーの調整、コミットゲート、見逃しケースから導かれるルールが含まれる。
検証の仕組みと社内テスト
Claude Codeチームのコードは、大半が Claude によって作成・レビューされており、その割合は ~90% とされる。
社内テストでは、構造化されたファイル生成の場面で、rubricに基づいて別のgraderがClaudeの作業を確認する方式が検討された。この方式は、標準的なprompting loopと比べてタスク成功率を最大10ポイント向上させ、最大の改善は最も難しい問題で見られたという。
チームはリポジトリの .claude/skills/ フォルダにverifyスキルを配置している。
信頼性チェックリストの運用
チームは39項目の信頼性チェックリストを維持しており、各項目には差分から読み取れるトリガーが付いている。Claudeは差分を読み、トリガーが一致した項目のみを確認する。通常確認されるのは3から10項目である。
記事では、見逃しケースに基づくルールについて「This (mostly) stops issues from happening again.」と記述されている。これは、同じ問題の再発を(大半は)防ぐとされる仕組みである。
ルールの候補化には次の条件が用いられる。
- 同じパターンが少なくとも two PRs に現れた場合に、潜在的なルールとみなす。
- three agents が候補ルールの反証を試みる。
- 既知のインシデントに関連するPRに対して three bug finders をリプレイし、two finders が同じバグを発見した場合に検出可能とみなす。
コードレビューとコミットゲート
Code Reviewは、pull requestの変更ではなく、base またはdefault branchのREVIEW.mdを読み込む。指摘事項には Important、Nit、Pre-existing のタグが付けられる。
コミットゲートには off、observe、enforce の3つのモードがある。セッション中に /code-review または /verify が実行されていない場合、コミットをブロックすることがある。ブロックは一つのセッションで twice まで行われ、その後の次のコミットは通過する。
また、Claudeが three rounds を経てもチェックが失敗する場合は、作業を止めて人間を呼び出す。
不安定なテストについては、スキップ、sleep、リトライを行わない。根本原因が特定できない場合は、テストを削除し、その理由を記録する。
レビューの品質についても、差分を確認する仕組みがある。チームは、マージ後に取り消された変更、メンテナーがマージ前に却下した変更、規模を揃えたクリーンな変更の一部を追跡している。
記事には次の一文がある。
「Claude Code isn't perfect.」
筆者の見立て
- E2Eテストが効果的な理由は、機能全体が動くか動かないかのどちらかであるため、欺きにくいことにあると解釈している。
- 重いテストは、変更をコミットする前に導入するのが最も良いと論じている。
- 主たるレビュアーに加えて、より高コストな第二のレビュアーを追加するのは、主たるレビュアーを調整するよりも悪い方法になることが多いと論じている。
- 古いコミットに対する合格したレビューは意味がないと解釈している。
- 開発者の役割は全ての差分を読むことから、完了の基準を定めて証拠を確認することへ移り、それが多数のClaudeを同時に動かすことを可能にしていると示唆している。
- プロパティライブラリは、元のコードを作成したエージェントと同じバイアスなしに作られたエッジケースを使うため、エージェントを正直に保つ優れた方法だと論じている。
- Claude Codeは完璧ではないと論じている。
この記事は元記事の事実のみに基づいて自動生成されました。
出典
Anthropic「How the Claude Code team thinks about verification」https://claude.dev/blog/how-the-claude-code-team-thinks-about-verification/ (fast-check、Hypothesis、proptest、Code Review の報道による)