iPhone 17 Proでパラメーター数80億のAIモデル「1-bit Bonsai 8B」をローカル実行してみたよレビュー、無料アプリのLocally AIで簡単に実行できる

1-bit Bonsai 8BはAI開発企業のPrismMLが2026年3月31日に公開したAIモデルで、80億パラメーター規模なのにメモリ使用量を1.15GBに抑えた省メモリ性を特徴としています。1-bit Bonsai 8BはiPhone 17 Proでローカル実行できることも大きな特徴なので、PrismMLの公式サイトでデモ用アプリとして案内されていた「Locally AI」を使って実際に実行してみました。

PrismML — Announcing 1-bit Bonsai: The First Commercially Viable 1-bit LLMs
https://prismml.com/news/bonsai-8b

Locally AI - Local AI Chatアプリ - App Store
https://apps.apple.com/jp/app/locally-ai-local-ai-chat/id6741426692

App Store上のLocally AIのページを開いたら「入手」をタップ。

インストールが完了したら「開く」をタップします。

Locally AIが起動したら「Continue」をタップ。

モデル選択画面が表示されますが、初期画面のモデル一覧には1-bit Bonsaiが含まれていなかったので「Skip」をタップ。

画面中央の「Select a Model」をタップ。

モデル一覧が表示されたら「Bonsai」をタップ。

「Bonsai(8B)」の右隣に配置されたダウンロードボタンをタップします。

ダウンロードが完了するまでしばらく待ちます。

ダウンロードが完了したら画面を下方向にスワイプしてモデル選択画面を閉じます。

画面上部に「Bonsai 8B」と表示されたら準備完了です。画面中央には「Meet Gemma 4」と記されていますが、これはGoogle製AIのGemmma 4をアピールするテキストなので無視してOK。

画面下部にテキストを入力して送信ボタンをタップ。今回は日本語で反応してくれるか確かめたいので「こんにちは」と入力して送信しました。

すぐに自己紹介が出力されました。

「iPhoneの画面に保護フィルムは貼るべき？」と入力して送信。

この質問はAIモデルによって返答がバラバラなのですが、1-bit Bonsai 8Bは貼らない派でした。

ただし、質問を理解できているかは怪しく、なぜか代替案としてPCのディスク保護を提案してきたり、「iPhoneの画面のクリーンさは、指から遠くスライドするか、スクリーンをクリーンすることで十分です」という意味を理解できそうでできないフレーズが回答に混ざっています。

簡単な計算を解けるか確かめるべく「トマトジュースを1杯作るにはトマトが5個必要です。トマトジュースを6杯作るにはトマトが何個必要でしょう？」という問題を入力した結果、「6来×5トマト＝30トマト」というちょっと怪しい式とともに正しい個数を回答してくれました。

なお、1-bit Bonsai 8Bの各種ベンチマーク結果やダウンロードリンクは以下の記事にまとめています。

パラメーター数8Bなのにメモリ消費わずか1.15GBの省メモリAIモデル「1-bit Bonsai」が登場、メモリ消費量14倍のモデルと同等以上の性能を発揮 - GIGAZINE