AIに同じミスを繰り返させない「ハーネスエンジニアリング」とは？

AIにプログラムを書かせる「AIコーディングエージェント」により多くの作業を任せるには、AIが生成したコードをどこまで信頼できるかが問題になります。AI支援開発の専門家であるビルギッタ・ベッケラー氏が、AIをうまく働かせる周辺環境を整える「ハーネスエンジニアリング」という考え方を解説しています。

Harness engineering for coding agent users
https://martinfowler.com/articles/harness-engineering.html

そもそも「ハーネス」とは、「AIモデルに指示やツールなどを組み合わせて実際に仕事をさせるための仕組み」のことです。「AIエージェント＝AIモデル＋ハーネス」と表現されることがある通り、AIモデルが文章を理解したりコードを考えたりする頭脳に当たるとすれば、ハーネスはAIモデルを実際に働かせるための周辺部分と言えます。

AIエージェントの「ハーネス」とは？AIモデルを実際に働かせる4つの仕組み - GIGAZINE

AIコーディングエージェントにはハーネスの一部があらかじめ組み込まれていますが、利用する開発者側でもプロジェクトに合わせて外側に追加のハーネスを作ることができます。ベッケラー氏は、開発者側でAIを取り囲む仕組みを継続的に設計していくことをハーネスエンジニアリングと表現しています。

ハーネスエンジニアリングが必要になる理由の1つとして、ベッケラー氏は「AIが人間の開発者と同じ経験や常識を持っているわけではないため」と書いています。人間の開発者なら「以前も同じ問題が起きた」「このプロジェクトではこう書く」「この実装は後から修正しにくそうだ」と経験から判断できますが、AIコーディングエージェントには開発チームが積み重ねてきた経験や暗黙のルールが自動的に備わっているわけではありません。

そこで開発者側で用意するハーネスが重要になるというわけ。ベッケラー氏はAIコーディングエージェントを支えるハーネスを大きく「Guides(ガイド)」と「Sensors(センサー)」の2種類に分けています。

ガイドはAIが作業を始める前に「どうすればいいのか」を教える仕組み。例えばプロジェクトの設計方針やコーディングルール、作業手順などをAIが参照できるようにします。一方、センサーはAIが作業した後に問題がないか調べる仕組みです。テストやコードの自動チェックなどを使って間違いを発見し、結果をAIへ返すことでAI自身に修正させることができます。

ガイドだけではAIが指示通りに作業できたか確認できず、センサーだけではAIが同じ間違いを何度も繰り返す可能性があります。作業前のガイドと作業後のセンサーを組み合わせ、AIが問題を起こしたらフィードバックを受けて自分で修正できる環境を作ることがポイントだとベッケラー氏は説明しています。

ベッケラー氏は「同じ問題が何度も起きる場合、AIの失敗を人間がその場で直して終わりにするのではなくハーネス自体を改善することも重要」とも述べています。ハーネスエンジニアリングは一度設定した後もAIの働き方を見ながら継続的に改善する作業というわけです。

ハーネスが扱う対象として「コードを保守しやすい状態にすること(Maintainability)」「設計や性能などのルールを守ること(Architecture Fitness)」「ソフトウェアが求められた通りに動くこと(Behaviour)」などが挙げられています。ただし、すべてを十分な信頼性で自動的に確認できるわけではないため、特に「ユーザーが本当に求めていた機能になっているのか」といった判断については人間による確認が引き続き重要とのこと。

ベッケラー氏はハーネスについて、「人間の開発者がソフトウェア開発において自然に使いこなしてきた経験やチーム内の常識などに基づいた判断の一部をルールやチェックとして外部に取り出し、AIにも利用できるようにする試み」と表現しています。

「人間の判断をすべてハーネスへ置き換えること」は難しいものの、AIに任せられる確認や修正を増やすことで人間の関与を特に重要な部分へ集中させることがポイントとのこと。ベッケラー氏は「AIコーディングエージェント向けのハーネス作りは継続的なエンジニアリング活動になりつつある」と記事を締めくくっています。