OpenAIがGPT-5.6のハーネスを改善してARC-AGI-3のスコアを3倍に向上させることに成功、モデル自体の性能だけでなくハーネスも重要であることを示す

AIの知能をルール不明のゲームで測定するというベンチマークが「ARC-AGI-3」です。このARC-AGI-3におけるスコアを3倍にした方法を、OpenAIが解説しています。

How enabling two settings tripled our scores on the ARC-AGI-3 benchmark | OpenAI
https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores/

OpenAIは2026年6月末に、GPT-5.6シリーズを発表しました。このうち、最も性能の高いフラグシップモデルが「GPT-5.6 Sol」です。

OpenAIが「GPT-5.6」シリーズを発表、Claude Mythos 5超えだがアメリカ政府の指示で限定プレビュー公開 - GIGAZINE

GPT-5.6 Solはサイクル二重被覆予想のような数学における長年の未解決問題を解決し、「ポケモン ファイアレッド」をクリアすることにも成功しています。しかし、2Dパズルゲームを用いたベンチマークであるARC-AGI-3では、GPT-5.6 Solはわずか7.8％のスコアしか出せなかったそうです。

ARC-AGI-3の2DパズルゲームがGPT-5.6 Solにとって異常に難しかったのか、他に何かしらの原因があったのかをOpenAIの開発チームは調査しました。ベンチマークではAPI設定、ハーネス設定、プロンプト表示など、目に見えにくい要素も評価の対象となります。ARC-AGI-3の場合、ChatGPTとCodexで使用している2つのAPI設定(保持推論と圧縮)を有効にしたところ、公開タスクセットでのスコアが3倍になり、出力トークン数が6分の1に削減されたそうです。

OpenAIのAIモデルは、応答やツール呼び出しを出力する前に、内部的な推論メッセージを用いて思考するよう訓練されています。これらの内部的な推論メッセージは、会話履歴の一部として保持され、会話が長くなりすぎた場合は、要約して続行します。

公式ハーネスではGPT-5.6 Solの各操作後にこの推論が破棄され、コンテキストが満たされるにつれて以前のアクションも削除されるため、モデルは何度も最初から推論をやり直さなければならなくなっていました。そこで、推論メッセージの保持期間を延長しています。

もうひとつの改善点は、モデルへの入力トークンが入力可能な最大トークン数を超過した場合の処理をローリング切断から圧縮に置き換えることです。ローリング切断は「古いトークンから順番に削除する」という処理ですが、過去のトークンを削除することで「AIモデルが以前の観測結果や行動を失ってしまう」という問題が発生します。また、ローリング切断ではトークン制限超過後も常に最大トークンを入力し続けるため「タスクの大部分をより広いコンテキストウィンドウで実行することになり、パフォーマンスがわずかに低下する」という問題点もあります。ローリング切断に代わって圧縮を有効にすると、GPT-5.6 Solはより長い実行時間にわたって各ゲームについて学習した内容をより適切に保持できるようになり、より少ない出力トークンでより高いスコアを達成できるようになりました。

公式ハーネスを使用するとGPT-5.6 SolのARC-AGI-3でのスコアは13.3％であったのに対して、推論保持と圧縮という2つの改善点を採用したハーネスを使用すると、ARC-AGI-3のスコアは38.3％にまで向上し、出力トークンも6分の1に抑えることに成功しました。なお、同タスクの人間のテスターでの平均スコアは48％です。

OpenAIは「これらの実験を通して、評価はAIモデルを単独で測定するのではなく、API設定、ハーネス設計、プロンプト表示など、目に見えにくい様々な要素も同時に測定していることを改めて認識していただければ幸いです。公開ベンチマークで低いスコアが出て驚き、その後、評価ランナーが推論メッセージを省略する汎用ハーネスを使用していたことが判明したのは、今回が初めてではありません」と語りました。