レビュー

無料でiPhone/iPad・AndroidスマホでいろいろなローカルAIを動かしチャット&ローカルAIベンチマークができるオープンソースアプリ「PocketPal AI」、サブスク不要&オフラインでどこでも利用可能


スマートフォン上で直接動作する小型言語モデルを搭載したAIアシスタントが「PocketPal AI」です。PocketPal AIはiOSとAndroidの両方に対応しており、インターネット接続なしで様々なSLMと対話できます。すべての処理はデバイス上で完結するため、プライバシーは完全に保護されます。会話、プロンプト、データはスマートフォンから外部に送信されることも、外部サーバーに保存されることもありません。

a-ghorbani/pocketpal-ai: An app that brings language models directly to your phone.
https://github.com/a-ghorbani/pocketpal-ai

PocketPal AI App - App Store
https://apps.apple.com/us/app/pocketpal-ai/id6502579498

PocketPal AI - Google Play のアプリ
https://play.google.com/store/apps/details?id=com.pocketpalai

PocketPal AIはiOS版とAndroid版が提供されています。今回はiPhone 15 Proで使ってみるため、App Storeページで「入手」をタップし、インストールします。


インストールが終わり、PocketPal AIを起動するとこんな感じ。「Download Model」をタップします。


「Available to Download」をタップ。


すると、インストールできるモデルの一覧が展開されます。今回は「Gemma-2- 2b-it(Q6_K)」の「Download」をタップします。


Gemma-2- 2b-it(Q6_K)のダウンロードが始まりました。モデルは用意されているもの以外にも、Hugging Faceで検索したものを導入することも可能です。右下にある+アイコンをタップ。


「Add from Hugging Face」を選択します。


すると、Hugging Faceで公開されているモデルが表示されます。そこで、NVIDIAのNemotoron 3 Nanoを導入するため、タップ。


ダウンロードアイコンをタップします。


ダウンロードが終わったモデルはモデル一覧の「Ready to Use」に表示されているので、「Load」をタップしてロードします。


ロードが終了すると、チャット画面が開きました。「Chat」の下に「Gemma-2- 2b-it(Q6_K)」とモデル名が表示されています。


日本語を使ってチャットをすることができました。小型言語モデルなので精度は高くないものの、iPhone上での動作でも返答はかなり速いと感じました。


モデルを変更するには、右上のケバブアイコンをタップして「Models」をタップ。


「NVIDIA-Nemotron3-Nano-4B-Q4-K_M.」を選択します。


すると、NVIDIA-Nemotron3-Nano-4B-Q4-K_M.と会話することができるようになりました。なお、メニューは左上のハンバーガーアイコンをタップすると展開します。


展開したメニューはこんな感じ。「Chat」でチャット画面を開くメニューで、過去のチャット履歴はメニューの下に表示されました。


「Pals」は記事作成時点では実験的な機能で、個性や設定の異なるパーソナライズされたAIアシスタントを導入できます。Palsを利用するにはPalshub.aiに登録する必要があります。登録は無料で、メールアドレスあるいはGoogleアカウントの連携が求められます。


「Models」で見られるモデル一覧からは、ロード中のモデルをオフロードしたり、新たにモデルを追加したりすることが可能です。


そして、PocketPal AIではAIモデルを用いたデバイスのベンチマークを実行できます。モデルを選択し、「Start Test」をタップするだけでOK。ベンチマークには2~5分ほどかかります。


iPhone 15 Proで、Gemma-2- 2b-it(Q6_K)でベンチマークを実行した結果が以下。プロンプト処理(Prompt Processing)が毎秒205.34トークン、トークン生成(Token Generation)が毎秒13.77トークン、トータル時間36秒、メモリー消費率のピークは31%でした。「View leaderboard」を見ると、Hugging Faceに公開されているベンチマーク結果のランキングを見ることができます。


記事作成時点でのランキングでトップの座に輝いていたのは、M2チップ搭載の第6世代iPad Pro(11インチ)でした。


それ以下のランキングはこんな感じでした。


なお、Device Duelの項目ではデバイス同士の結果を比較することができました。

この記事のタイトルとURLをコピーする

・関連記事
スマホのAI処理性能を測定できるベンチマークアプリ「MLPerf Mobile」をMLCommonsがリリースしたので使ってみた - GIGAZINE

iPhoneやMacで重量級画像生成AIをローカル実行できる「Draw Things」を使ってみたよレビュー、Qwen Imageのような大型モデルも実行可能 - GIGAZINE

AndroidスマホでもiPhoneでもAIモデルをローカルで実行してチャットできる無料アプリ「Cactus Chat」レビュー - GIGAZINE

自分のPCで実行可能なローカルAIが一発で分かる便利サイト「CanIRun.ai」、比較機能もあってグラボの買い替え検討にも有用 - GIGAZINE

システムのメモリ・CPU・GPUに合わせて適切なAIモデルを教えてくれるターミナルツール「llmfit」 - GIGAZINE

チャットも画像生成もローカルで実行できるAIアプリ「Gerbil」を使ってみた - GIGAZINE

in AI,   ソフトウェア,   スマホ,   レビュー, Posted by log1i_yk

You can read the machine translated English article PocketPal AI is a free, open-source app ….