機能を絞ったAIコーディングツール「Pi」が高性能な理由とは？4つの基本機能でAIコストを抑える仕組み

AIにコードの修正やコマンド実行を任せるコーディングハーネス「Pi」は、標準機能を意図的に絞り込むことで処理費用と作業効率の改善を目指しています。Databricksによる性能検証やShopifyで開発された拡張機能の事例から、単純な設計が強みになる理由をPiの開発元であるEARENDILが説明しています。

Pi, Minimal and Performant | EARENDIL
https://earendil.com/posts/pi-autoresearch-and-databricks/

AIコーディングツールでは、作業計画や複数のAIを連携させる機能などが次々と追加されています。ただし機能が増えるほど、AIへ毎回送る指示やツールの説明も長くなります。入力する情報量が増えればAPIの利用費用が膨らみ、重要な指示が大量の文章に埋もれる可能性もあります。

Piは「必要最小限の道具だけを標準搭載する」という方針を採用しています。AIが利用できる標準機能はファイルを読む「read」、コマンドを実行する「bash」、ファイルを修正する「edit」、ファイルを作成する「write」の4種類のみ。システムプロンプトとツール定義を合わせても1000トークン未満に抑えているとのことです。

機能を減らしても用途が狭くならないよう、Piは必要な機能を拡張機能として後から追加できます。複数のAIを動かすサブエージェントや作業計画機能、外部サービスとの接続機能も標準では組み込まず、必要な利用者だけが導入する仕組みです。

Databricksが数百万行規模の実際のコードベースを使って実施した検証では、同じAIモデルでも組み合わせるハーネスによって1タスク当たりの費用に2倍を超える差が生じる場合がありました。回答品質が同程度だった条件でも、Piが1回のやりとりごとに送信した文脈は比較対象の約3分の1で、少ない試行回数で作業を完了したと報告されています。

以下は横軸に1タスク当たりの平均費用、縦軸に課題の成功率を示したグラフ。赤い点と点線は、費用と成功率の組み合わせが特に優れたパレートフロンティアを示しています。Piを使用した構成も複数含まれており、比較的低い費用で高い成功率を記録していることがわかります。

基本機能を絞っても拡張性があることを示す例として、Shopifyのエンジニアであるデビッド・コルテス氏が開発した「pi-autoresearch」も紹介されています。pi-autoresearchは処理速度などの評価指標を決めた上で、コード変更、測定、採用または破棄を自動的に繰り返す拡張機能です。改善に失敗した変更を元に戻すことで、試行錯誤を継続しながら性能を高められる仕組みになっています。

以下はpi-autoresearchがコード変更と性能測定を繰り返している実行画面。改善した変更を「keep(保持)」、悪化した変更を「discard(破棄)」として分類しています。

その他、Shopifyでは単体テストが300倍高速になった例や、Reactコンポーネントのマウント処理が20％高速になった例もあるとのこと。

Piの開発元は、高性能なAIモデルがターミナル操作や開発作業を理解できるようになったため、ハーネス側が大量の指示を与える必要性は薄れつつあると説明しています。最初から何でも搭載するのではなく、必要になった機能だけを追加する設計が低コストと高性能の両立につながると述べられています。