2026年08月25日 11時26分 AI

各種AIのiPhoneでの動作性能を測定した結果がArtificial Analysisによって公開される、コンテキスト長や応答時間を制限して実環境に近い性能を測定

ローカルで実行可能なAIモデルの中にはスマートフォンでの動作も可能な小型モデルも存在します。新たに、AIの性能分析を行っているArtificial Analysisが「iPhone 17 Proでどのように動作するか」に着目したベンチマーク結果を公開しました。

Intelligence at pocket scale: Benchmarking small models and mobile phones | Artificial Analysis
https://artificialanalysis.ai/articles/mobile-phone-intelligence-inference

Introducing Pipette: A benchmarking suite for on-device intelligence — Blog — Liquid AI
https://www.liquid.ai/blog/pipette-on-device-ai-benchmarking-by-liquid-ai

ローカルで実行可能なオープンモデルの中には、データセンター級の高性能ハードウェアが必要な超大型モデルもあれば、スマートフォンで動作する小型モデルもあります。しかし、多くのベンチマークテストは超大型モデルの性能評価に最適化しており、小型モデルではテストを完了できずにスコア「0」とされてしまうことがあります。また、スマートフォンで実行可能な推論スタックはデータセンター向けのものと比べて洗練されておらず、超大型モデルと小型モデルを同じインフラやベンチマークテストで比較すると実態と異なる結果が現れてしまいます。

そこで、Artificial AnalysisはAI開発企業のLiquid AIと協力して「小型モデルをスマートフォンで実行した際の性能を測定するシステム」を構築しました。複数のテストのうち、インテリジェンス性能テストに関するシステムはArtificial Analysisが開発し、推論性能テストに関するシステムはLiquid AIが開発したとのこと。採用されたベンチマークテストは「BFCL」「IFBench」「AA-Omniscience」「GPQA Diamond」「MATH-500」の5種類です。

Artificial Analysisは複数のAIモデルをiPhone 17 Proで実行して結果をまとめています。テスト対象のモデルは「Gemma 4 E2B」や「LFM2-2.6B-Exp」といった「4bitに量子化した際に8GB以内のサイズに収まるAIモデル」に限られています。

コンテキスト長を16Kトークンに制限した際のベンチマークスコアの平均値が以下。最高スコアを獲得したのは「Nanbeige4.2-3B」と「LFM2.5-2.6B」でした。

応答時間を最長1分までに制限した際の平均スコアは以下の通り。「LFM2.5-8B-A1B」がトップで、その後に「LFM2-2.6B-Exp」「Gemma 4 E4B(Non-reasoning)」「Granite 4.1 8B」と続きます。

以下のグラフは横軸が「256トークンを出力するのにかかった秒数」、縦軸が「コンテキスト長を16Kトークンに制限した際のベンチマークスコアの平均値」を示しています。「Nanbeige4.2-3B」はベンチマークスコアは「LFM2.5-2.6B」と同等でしたが、応答時間が長いことが分かります。

ピークメモリ使用量を横軸とするとこんな感じ。

出力トークン数を横軸とすると、「Qwen3.5 9B(Reasoning)」と「Qwen3.5 4B(Reasoning)」のトークン効率が低めであることが分かります。

Artificial Analysisは今後のアップデート予定として「新モデルの随時追加」や「単一の量子化精度ではなく、メモリ使用量に基づいたモデル比較」を挙げています。

なお、Liquid AIは性能測定に用いたシステムを「Pipette」と名付けており、ソースコードをGitHubで公開しています。また、Pipetteによるベンチマークテストを実行できるiOSアプリとAndroidアプリも公開しています。

Pipette by Liquidアプリ - App Store
https://apps.apple.com/jp/app/pipette-by-liquid/id6772314671

Pipette - Google Play のアプリ
https://play.google.com/store/apps/details?id=ai.liquid.pipette

・つづき
自分のスマホのAI実行性能を測定できるベンチマークアプリ「Pipette」を使ってみた - GIGAZINE