AI利用のうち32％で安いモデルを使ったときの方が総コストが高くなったことが判明

AIを有料で提供している企業は、高性能なモデルを高い価格で、低性能なモデルを安い価格で提供しています。お得にAIを使いたいなら安い方を使う方が正しいように思えますが、タスクによっては、高い方を使う方が結果的に安くつくことがあるようです。

The Price Reversal Phenomenon: When Cheaper Reasoning Models Cost More - 2603.23971v2.pdf
https://arxiv.org/pdf/2603.23971

It’s Nearly Impossible to Budget for AI Spending - WSJ
https://www.wsj.com/tech/personal-tech/ai-token-spending-businesses-431ee94a

Cheaper AI Models Cost More in 32% of Tests, Study Finds
https://www.implicator.ai/cheaper-ai-models-cost-more-price-reversal-study/

スタンフォード大学、カーネギーメロン大学、カリフォルニア大学バークレー校、Microsoft Researchからなる研究チームは、同じタスクを低価格モデルと高価格モデルがどのように実行するのかを調査するため、最先端のAIモデル8種類に数学、プログラミング、科学など6800以上のタスクを実行させる研究を行いました。その結果、32％のケースで低価格モデルのほうが最終的な総コストが高くなる現象が見られました。

例えば、高価格モデルの「Gemini 3.1 Pro」と低価格モデルの「Gemini 3 Flash」に「YouTube動画を毎フレーム分析する」というタスクを与えたところ、Gemini 3.1 Proが85ステップでタスクを完了させたのに対し、Gemini 3 Flashは1000ステップ以上もかかって結局タスクを完了させられなかったとのことです。タスクに費やした価格は、前者が1ドル(約158円)、後者が14ドル(約2211円)でした。

研究チームは、AIの「考えすぎ」と「行動しすぎ」が原因だと指摘しています。複雑なタスクだとどうしても推論回数や行動回数が増えてしまい、性能が高いモデルの方が速く安く実行できる場合があります。幅広い分野を対象にしたテストでは、Gemini 3 Flashが6万トークンを超える思考トークンを消費したのに対し、より高性能な「GPT-5.4」は25トークンで解決したという例もあったそうです。

また、AIモデルは同じタスクを常に同じ価格で実行できるわけではないことも明らかになっています。研究チームが同一の指示を同じモデルで繰り返し実行したところ、最も高い試行が最も安い試行の9.7倍になってしまったという例もあったそうです。

筆頭著者のリンジャオ・チェン氏は「価格だけを見て、どのモデルが安いのかを判断すべきではありません」と述べました。