無料でiPhone/iPad・AndroidスマホでいろいろなローカルAIを動かしチャット&ローカルAIベンチマークができるオープンソースアプリ「PocketPal AI」、サブスク不要&オフラインでどこでも利用可能

スマートフォン上で直接動作する小型言語モデルを搭載したAIアシスタントが「PocketPal AI」です。PocketPal AIはiOSとAndroidの両方に対応しており、インターネット接続なしで様々なSLMと対話できます。すべての処理はデバイス上で完結するため、プライバシーは完全に保護されます。会話、プロンプト、データはスマートフォンから外部に送信されることも、外部サーバーに保存されることもありません。
a-ghorbani/pocketpal-ai: An app that brings language models directly to your phone.
https://github.com/a-ghorbani/pocketpal-ai
PocketPal AI App - App Store
https://apps.apple.com/us/app/pocketpal-ai/id6502579498
PocketPal AI - Google Play のアプリ
https://play.google.com/store/apps/details?id=com.pocketpalai
PocketPal AIはiOS版とAndroid版が提供されています。今回はiPhone 15 Proで使ってみるため、App Storeページで「入手」をタップし、インストールします。

インストールが終わり、PocketPal AIを起動するとこんな感じ。「Download Model」をタップします。

「Available to Download」をタップ。

すると、インストールできるモデルの一覧が展開されます。今回は「Gemma-2- 2b-it(Q6_K)」の「Download」をタップします。

Gemma-2- 2b-it(Q6_K)のダウンロードが始まりました。モデルは用意されているもの以外にも、Hugging Faceで検索したものを導入することも可能です。右下にある+アイコンをタップ。

「Add from Hugging Face」を選択します。

すると、Hugging Faceで公開されているモデルが表示されます。そこで、NVIDIAのNemotoron 3 Nanoを導入するため、タップ。

ダウンロードアイコンをタップします。

ダウンロードが終わったモデルはモデル一覧の「Ready to Use」に表示されているので、「Load」をタップしてロードします。

ロードが終了すると、チャット画面が開きました。「Chat」の下に「Gemma-2- 2b-it(Q6_K)」とモデル名が表示されています。

日本語を使ってチャットをすることができました。小型言語モデルなので精度は高くないものの、iPhone上での動作でも返答はかなり速いと感じました。

モデルを変更するには、右上のケバブアイコンをタップして「Models」をタップ。

「NVIDIA-Nemotron3-Nano-4B-Q4-K_M.」を選択します。

すると、NVIDIA-Nemotron3-Nano-4B-Q4-K_M.と会話することができるようになりました。なお、メニューは左上のハンバーガーアイコンをタップすると展開します。

展開したメニューはこんな感じ。「Chat」でチャット画面を開くメニューで、過去のチャット履歴はメニューの下に表示されました。

「Pals」は記事作成時点では実験的な機能で、個性や設定の異なるパーソナライズされたAIアシスタントを導入できます。Palsを利用するにはPalshub.aiに登録する必要があります。登録は無料で、メールアドレスあるいはGoogleアカウントの連携が求められます。

「Models」で見られるモデル一覧からは、ロード中のモデルをオフロードしたり、新たにモデルを追加したりすることが可能です。

そして、PocketPal AIではAIモデルを用いたデバイスのベンチマークを実行できます。モデルを選択し、「Start Test」をタップするだけでOK。ベンチマークには2~5分ほどかかります。

iPhone 15 Proで、Gemma-2- 2b-it(Q6_K)でベンチマークを実行した結果が以下。プロンプト処理(Prompt Processing)が毎秒205.34トークン、トークン生成(Token Generation)が毎秒13.77トークン、トータル時間36秒、メモリー消費率のピークは31%でした。「View leaderboard」を見ると、Hugging Faceに公開されているベンチマーク結果のランキングを見ることができます。

記事作成時点でのランキングでトップの座に輝いていたのは、M2チップ搭載の第6世代iPad Pro(11インチ)でした。

それ以下のランキングはこんな感じでした。

なお、Device Duelの項目ではデバイス同士の結果を比較することができました。

・関連記事
スマホのAI処理性能を測定できるベンチマークアプリ「MLPerf Mobile」をMLCommonsがリリースしたので使ってみた - GIGAZINE
iPhoneやMacで重量級画像生成AIをローカル実行できる「Draw Things」を使ってみたよレビュー、Qwen Imageのような大型モデルも実行可能 - GIGAZINE
AndroidスマホでもiPhoneでもAIモデルをローカルで実行してチャットできる無料アプリ「Cactus Chat」レビュー - GIGAZINE
自分のPCで実行可能なローカルAIが一発で分かる便利サイト「CanIRun.ai」、比較機能もあってグラボの買い替え検討にも有用 - GIGAZINE
システムのメモリ・CPU・GPUに合わせて適切なAIモデルを教えてくれるターミナルツール「llmfit」 - GIGAZINE
チャットも画像生成もローカルで実行できるAIアプリ「Gerbil」を使ってみた - GIGAZINE
・関連コンテンツ
in AI, ソフトウェア, スマホ, レビュー, Posted by log1i_yk
You can read the machine translated English article PocketPal AI is a free, open-source app ….







