AIは答えを出せても「聞くべきこと」を見落とすことが税務の仕事を再現したテストで判明

AIの性能評価を手がけるSurge AIは2026年10月27日、アメリカの税務相談や申告書の作成を題材にしたベンチマーク「DAYJOB: Tax」の結果を公開しました。

DAYJOB: Tax — Benchmarking AI Agents on Professional Tax Work | Surge AI
https://surgehq.ai/blog/dayjob-tax

DAYJOB: Tax Benchmark | Surge AI
https://surgehq.ai/benchmarks/dayjob-tax

Surge AIによると、従来の税務ベンチマークの多くは税法に関する質問への回答や申告書に記載する金額の計算など、あらかじめ指定された作業をAIに求めるものでした。しかし、実際の税務相談では依頼人が税金に関わる問題に気付いていなかったり、複数の資料の記載が食い違っていたりすることもあるため、税務の専門家は依頼人の説明と資料を照らし合わせ、助言する前に何を追加で確かめるべきかを見極める必要があります。

Surge AIはこうした判断も評価するため税務の専門家と協力し、個人の確定申告や相続、国際税務など8分野の仕事を再現した50件の課題を用意しました。各課題でAIは依頼人からの相談や作業の指示を受け取り、過去の申告書や帳簿、契約書などを模した資料を調べた上で、依頼された申告書を作成したり税務上の助言をまとめたりします。AIに渡された資料は全50件で計1789ファイルに上り、1課題当たりの中央値は30ファイルでした。

Surge AIが公開した課題の資料の一つが、転売用に仕入れた商品の手書きの領収書です。AIに求められるのは、領収書から品名や金額を読み取り支出の記録と照らし合わせた上で、仕入れが在庫や売上原価にどう影響するかを判断すること。

別の課題で使われた作業員の派遣記録には派遣先の州や作業日数が記されています。依頼人は自社がアラバマ州だけで事業を行っていると考えていましたが、記録には5つの州で作業したことが示されており、各州での納税義務を調べる手掛かりになります。

Surge AIは、AIが「正しく計算できたか」「依頼に沿った申告書や助言を作成できたか」に加え、「判断の根拠となる資料を確認したか」「税務上の結論を左右する問題を見つけたか」といった基準でもスコアを付けました。同社は各モデルで50件の課題を1件につき5回実行し、AIが1回の試行でその課題の採点項目を95％以上満たした場合を合格としました。

その結果、合格率が最も高かったAnthropicのClaude Sonnet 5.5でも、250回の試行のうち合格したのは27回(10.8％)でした。Surge AIが上位10モデルの合格率をまとめたグラフでは、Claude Fable 5.1が9.6％で2位、Claude Opus 5.5が9.2％で3位に入っています。

Surge AIは、助言に盛り込んだ内容がモデルによって異なった例として自宅の売却時期をめぐる相談を挙げています。課題に登場するアンナさんは2024年8月に自宅のマンションから引っ越しており、そのマンションを2026年10月に売る場合と2027年1月まで待って売る場合のどちらが税金の面で有利かをAIに尋ねました。

アメリカには自宅を売って得た利益を一定額まで課税所得から除外できる税の優遇措置があり、単独で申告する場合の上限は25万ドル(約4000万円)となっています。そして、その優遇措置を受ける条件の一つが「自宅の売却日からさかのぼって過去5年間に、通算で2年以上その家に住んでいること」です。

OpenAIのGPT-6 Astraは、アンナさんが検討していたどちらの時期に売っても、優遇措置に必要な居住期間の条件を満たすと正しく判断しました。ただし、引っ越しから約3年後に当たる2027年8月末ごろを過ぎて売ると、売却前の5年間のうち3年を超える期間が引っ越し後に当たるため、その5年間にアンナさんがマンションに住んでいた期間は2年に届かず、税の優遇を受けられなくなる可能性があります。Surge AIがこの課題を各モデルで5回ずつ試したところ、GPT-6 Astraは居住条件を満たせる売却期限を一度も伝えず、Claude Opus 5.5は5回すべてで期限を指摘しました。

老後資金の分け方に関する課題では、別れることになった2人が、個人で開く退職口座の一種である「Roth IRA」と、勤務先の退職年金制度「401(k)」で積み立てた資産をどう分ければよいか、AIに助言を求めました。アメリカでは、例えば離婚に伴う裁判所の決定などに従い、個人の退職口座(IRA)から元配偶者のIRAへ資産を移す際に課税されない場合があります。そのため、2人が法律上の夫婦かどうかによって資産を分ける際に使える手続きや税務上の扱いが変わります。

AIに渡された資料によると、2人はフロリダ州に住んでいましたが、以前はテキサス州で同居し、コロラド州で結婚式を挙げていました。テキサス州では結婚に合意して州内で夫婦として暮らすなどの条件を満たせば、届け出をしなくても婚姻が成立します。他州で有効に成立した婚姻はフロリダ州でも認められるため、同居や結婚式の記録は2人が法律上の夫婦かを確かめる手掛かりでした。

住宅売却の課題でしっかりと期限を指摘したClaude Opus 5.5は、老後資金の課題では5回とも「2人が法律上結婚していない」という前提で助言しました。Surge AIによると、Claude Opus 5.5は「口座内の資産を分けると税金やペナルティーがかかる」と説明し、2人がそれぞれ自分の口座を維持し、資産の配分は現金の支払いで調整するよう勧めたとのこと。一方、GPT-6 Astraは同じ課題の5回中4回で、「2人が法律上の夫婦かどうかを確かめてから資産の分け方を決める必要がある」と指摘したそうです。

Surge AIは、AIが税額の計算など個々の作業を処理できても、依頼人の説明と手元の資料を照らし合わせて何を追加で確かめるべきかを判断し、その結果を申告書や助言に反映するところまで安定してやり遂げるのは難しいと結論付けています。