自分のスマホのAI実行性能を測定できるベンチマークアプリ「Pipette」を使ってみた

AI開発企業のLiquid AIがスマートフォンのAI実行性能を測定するベンチマークアプリ「Pipette」をリリースしました。無料でGemmaシリーズやQwenシリーズなど複数のAIモデルを用いたテストが可能とのことなので、実際にiPhone 17 Proにインストールして使ってみました。

Introducing Pipette: A benchmarking suite for on-device intelligence — Blog — Liquid AI
https://www.liquid.ai/blog/pipette-on-device-ai-benchmarking-by-liquid-ai

PipetteはiOS版とAndroid版がリリースされています。記事作成時点では、iOS版はGPUを用いた演算に対応していますが、Android版はCPUでしか演算できないとのこと。今回はiPhone 17 ProにiOS版Pipetteをインストールして使ってみます。

Pipette by Liquidアプリ - App Store
https://apps.apple.com/jp/app/pipette-by-liquid/id6772314671

Pipette - Google Play のアプリ
https://play.google.com/store/apps/details?id=ai.liquid.pipette

まずApp StoreでPipetteの配布ページを開いて「入手」をタップ。

Pipetteの初回起動時にはアカウント登録を求められます。メールアドレスを入力して「Register」をタップ。

受信箱に届いた6桁のコードを入力して「Verify」をタップ。

登録したいパスワードを入力して「Create account」をタップ。

組織名を入力して「Register」をタップ。

これでPipetteを使えるようになりました。PipetteはAIモデルをローカルで実行して処理速度などを測定するアプリなので、まずはAIモデルをダウンロードする必要があります。「Go to Models」をタップ。

「Search models」をタップ。

利用可能なモデル一覧が表示されました。

今回はGoogle製モデルの「Gemma 4 E2B IT」をダウンロードします。ダウンロードしたいモデルの右隣にあるチェックボックスをタップしてから下部のダウンロードボタンをタップ。なお、各種モデルは量子化されたものがラインナップされています。

容量の大きなファイルをダウンロードするという警告が表示されます。「Proceed」をタップ。

ダウンロード完了までしばらく待ちます。

ダウンロード完了。

テストを開始するには左下のボタンをタップしてから「Create a job」をタップ。

iOS版Pipetteの場合、「llama.cppを用いた処理」か「MLXを用いた処理」を選択可能。今回はMLXを選択して「Next」をタップしました。

テストに用いるモデルにチェックを入れて「Next」をタップ。

テスト項目を選択して「Next」をタップ。テスト項目は「エンドツーエンドのレイテンシ測定」「プリフィル処理のスループット測定」「デコード処理のスループット測定」「最大メモリ使用量の測定」の4種類です。デフォルトですべてのテストにチェックが入っているので、今回はそのまま「Next」をタップしました。

テスト内容を確認して「Run job」をタップ。デフォルトではテスト結果を公開データとしてサーバーに送信する設定になっています。送信したくない場合は下部のチェックを外せばOKです。

テストが始まるのでしばらく待ちます。途中でデバイスの温度を下げる待ち時間が発生するのでテスト時間は長め。iPhone 17 ProでMLXを用いてGemma 4 E2B ITの4bit量子化版の処理速度を測定した結果、測定完了までに18分かかりました。

測定完了画面はこんな感じ。

下部にスクロールすると結果を閲覧できます。結果は横長に表示されているので左右にスクロールする必要あり。

横画面にすると少し見やすくなります。

共有ボタンをタップして結果をCSV形式で出力することも可能。

ExcelやGoogleスプレッドシートで読み込めば詳細な結果を確認できます。iPhone 17 ProでMLXを用いてGemma 4 E2B ITの4bit量子化版を実行した結果、デコード処理のスループットは毎秒48.3726トークンでした。

測定結果はアプリ内に保存されるので、あとからでも確認できます。

上述の通り、記事作成時点ではAndroid版PipetteはCPUでの処理にしか対応していません。そのほか、AndroidとiOSではフラッシュアテンションのサポートやスレッド数、アクセラレータ、実行環境などが異なるためLiquid AIは「異なるデバイス同士の性能比較には不適」と説明しています。