AI

Claude Codeチームは検証についてどのように考えて実行しているのか、エンドツーエンドテスト・プロパティテスト・差分テストで証拠に基づいて自身の作業を検証する方法


AIコーディングツール「Claude Code」の開発チームでは、コードの約90%をClaudeが記述・レビューしています。AIに大量の開発作業を任せながらコードの品質を維持するため、Claude Codeの開発チームがどのような検証の仕組みを構築しているのかについて、Anthropicのエンジニアであるアディ・オスマーニ氏が解説しています。

How the Claude Code team thinks about verification / claude.dev Blog
https://claude.dev/blog/how-the-claude-code-team-thinks-about-verification/

AIエージェントを使ったソフトウェア開発では、人間がすべての成果物を確認する必要がある場合、同時に稼働させられるエージェントは1つか2つに限られます。しかし、AIが自らの成果物を検証できる仕組みを整えれば、数十あるいは数百のエージェントを並行して稼働させることが可能になります。


Anthropicが実施した内部テストでは、Claudeが生成したファイルを別の評価エージェントに検証させることで、通常のプロンプトによる反復処理と比較してタスクの成功率が最大10ポイント向上しました。AIを使えばテストやベンチマークも短時間で作成でき、一度作成したテストは多くのトークンを消費することなく繰り返し実行できます。

オスマーニ氏はAIエージェントによる開発において特に有効なテストとして、「エンドツーエンド(E2E)テスト」「プロパティテスト」「差分テスト」の3種類を挙げています。

E2Eテストはショッピングサイトで商品をカートに追加し、決済を行うといった実際のユーザーの操作を再現するテストです。個々の機能が正常に動作するだけでなく、システム全体が意図した通りに動作するかを確認できます。


プロパティテストはプログラムが常に満たすべき条件を定義して検証する手法。例えば「データをエンコードしてからデコードすると元のデータに戻る」という条件を設定し、数千通りの入力を自動生成してテストすることで、開発時に想定していなかったバグを発見できます。

差分テストは新旧のシステムに同じデータを入力して結果を比較する手法です。システムの移行やコードの書き直しなど、機能を維持したまま内部実装を変更する際に役立ちます。


Claude Codeの開発チームではテストに合格するだけでなく、変更を加えたアプリケーションを実際に動かすことも重視しています。ウェブブラウザやスマートフォンのシミュレーターなどを利用し、Claudeに人間のテスト担当者と同じような動作確認を行わせているとのこと。アプリケーションの起動方法や検証手順は「verify」というスキルにまとめられており、Claudeはコードをコミットする前にこのスキルを使用します。

テストに失敗した場合はClaudeが原因を調査してコードを修正しますが、3回の修正と検証を経ても問題が解決しなければ人間に対応を求めます。人間はすべてのコードを確認する必要がなくなり、AIだけでは解決できない問題に集中できるというわけです。


また、Claude Codeの開発チームは過去の障害などをもとに39項目からなる信頼性チェックリストを作成しています。例えば、セッションの保存形式を変更した場合は古い会話履歴も正常に読み込めるかを確認します。Claudeはコードの差分に応じて必要な項目だけを検証するため、実際に確認するのは通常3~10項目だそうです。

コードレビューについては複数のAIエージェントに同じコードをレビューさせるよりも、1つのレビュー担当エージェントの精度を高める方針を採用しています。レビュー時に注意すべき点を「REVIEW.md」というファイルに記述し、過去のレビュー結果も活用することで、コストを抑えながらバグの検出率を高めています。

AIが自らの成果物を評価するルールを書き換えられないようにすることも重要です。Claude Codeの開発チームでは、変更対象とは別に管理されたREVIEW.mdを参照するほか、レビューの対象を特定のコミットに固定しています。コードレビューや動作確認を実施していない場合にコミットを阻止できる仕組みも導入しています。


さらに、検証を担当するAIエージェント自体の性能も定期的に評価しています。過去に障害を引き起こしたコードを再現してAIがバグを発見できるかを確認する一方で、問題なく運用されているコードを使って過剰な指摘が発生していないかもチェックします。AIが見落とした問題は新たな検証ルールの作成に活用されます。

AIエージェントによる開発の品質を高めるには検証の仕組みそのものを継続的に改善することが重要だ、とオスマーニ氏は指摘しています。適切な検証の仕組みを構築すれば、人間の役割はコードを1つずつ確認することから、何をもって作業の完了とするかを定義し、その条件を満たした証拠を確認することへと変化します。これが多数のAIエージェントを同時に稼働させるための鍵となるとのことです。

・関連記事
リーナス・トーバルズがClaude CodeなどのAIをバリバリ活用してLinuxカーネルの改善に取り組み中 - GIGAZINE

Claude Codeを自分好みにカスタムできるMod機能が登場 - GIGAZINE

AIが使ったツールをAI自身が5段階で評価する口コミサイト「agent.reviews」が登場、Claude CodeやCodexもレビューを投稿 - GIGAZINE

Rust移行版の「Bun v1.4.0」が正式リリースに先駆けてClaude Codeへ組み込まれていたことが判明 - GIGAZINE

SpotifyのエンジニアがClaude Codeのトークン消費を約90%削減した方法とは? - GIGAZINE

SamsungがClaude Codeを導入し「1カ月かかる設計を2日に短縮した」と報告 - GIGAZINE

Claude Codeで「コマンド実行のたびに人間に判断を求める」という動作を改善するオートモードがデフォルトで有効化される予定 - GIGAZINE

in AI,   ソフトウェア, Posted by log1i_yk

You can read the machine translated English article How does the Claude Code team think abou….