AI

パラメーター数8Bなのにメモリ消費わずか1.15GBの省メモリAIモデル「1-bit Bonsai」が登場、メモリ消費量14倍のモデルと同等以上の性能を発揮


AIモデルはパラメーター数が多いほど性能が高くなりやすいですが、パラメーター数が多くなるとメモリ使用量が増加してしまうというトレードオフの関係にあります。AI開発企業のPrismMLが2026年3月31日に発表した「1-bit Bonsai」は80億パラメーターのモデルを1.15GBという少ないメモリ使用量で実行することが可能。さらに、メモリ約14倍消費する他モデルを打ち負かすほどのベンチマークスコアも記録しており、高性能かつ省メモリなAIモデルとして注目を集めています。

PrismML — Announcing 1-bit Bonsai: The First Commercially Viable 1-bit LLMs
https://prismml.com/news/bonsai-8b

1-bit Bonsaiは「埋め込み」「アテンション層」「MLP層」「LM head」といったAIモデルを構築するネットワーク全体で1ビットモデル設計を採用することで同一パラメーター数のモデルと比べてメモリ使用量を大幅に削減することに成功しています。すでに「1-bit Bonsai 8B」「1-bit Bonsai 4B」「1-bit Bonsai 1.7B」の3種類がオープンモデルとして公開されており、誰でもダウンロードして実行することができます。

1-bit Bonsai 8Bと競合モデルのメモリ使用量や各種ベンチマーク結果をまとめた表が以下。80億パラメーターのモデルは16GB前後のメモリを必要とするのが一般的ですが、1-bit Bonsai 8Bはわずか1.15GBに抑えています。省メモリながら性能も維持することに成功しており、Llama 3.1 8BやGLM 4 9Bよりも高いスコアを記録しています。


ベンチマークテストの平均値を並べたグラフが以下。1-bit Bonsai 8Bが競合モデルと比べて遜色ない性能を備えていることが分かります。


そしてメモリ1GBあたりの性能を比較したグラフが以下。1-bit Bonsai 8Bがメモリ効率に優れたモデルであることが一発で分かります。


各種モデルのメモリ使用量(横軸)とベンチマークスコア(縦軸)をプロットしたグラフが以下。1-bit Bonsai 8Bは10億パラメーター前後のモデルと同等のメモリ使用量で80億パラメーター前後のモデルと同等の性能を達成しています。


1-bit Bonsai 8BはRTX 4090を搭載したPCやM4 Proを搭載したMacだけでなく、iPhone 17 Pro Maxでも動作可能。


iPhone 17 Proで1-bit Bonsai 8Bとパラメーター数10億の競合モデルを実行して同じ計算問題を解かせたデモ動画が以下。1-bit Bonsai 8Bの方が高速に動作し、出力も正確です。

1-bit Bonsai 8B on iPhone 17 Pro - YouTube


1-bit Bonsai 4Bと1-bit Bonsai 1.7Bも同等規模のモデルよりメモリ使用量が圧倒的に少なく、1-bit Bonsai 4Bのメモリ使用量は0.57GB、1-bit Bonsai 1.7Bのメモリ使用量は0.24GBです。


1-bit Bonsaiシリーズは以下のリンク先からダウンロード可能。ライセンスはApache license 2.0です。

Bonsai - a prism-ml Collection
https://huggingface.co/collections/prism-ml/bonsai


また、GitHubで各種情報が公開されています。

GitHub - PrismML-Eng/Bonsai-demo: Bonsai Demo · GitHub
https://github.com/PrismML-Eng/Bonsai-demo/


1-bit BonsaiはiPhoneアプリのLocally AIで実行することも可能。実際にLocally AIで1-bit Bonsaiを実行するレビュー記事を近日中に公開予定です。

<つづく>

この記事のタイトルとURLをコピーする

・関連記事
スマホでAIモデルをローカル実行できる無料アプリ「Off Grid」レビュー、LLMも画像生成モデルも実行可能でiOS・Androidどっちも対応 - GIGAZINE

AndroidスマホでもiPhoneでもAIモデルをローカルで実行してチャットできる無料アプリ「Cactus Chat」レビュー - GIGAZINE

無料でiPhone/iPad・AndroidスマホでいろいろなローカルAIを動かしチャット&ローカルAIベンチマークができるオープンソースアプリ「PocketPal AI」、サブスク不要&オフラインでどこでも利用可能 - GIGAZINE

無料でオープンソースの「Claude Cowork」代替ソフト「OpenWork」レビュー - GIGAZINE

日本語特化の小型AIモデル「LFM2.5-1.2B-JP」を含むオンデバイス重視のオープンモデル「LFM2.5」シリーズが登場 - GIGAZINE

in AI, Posted by log1o_hf

You can read the machine translated English article A memory-efficient AI model called '1-bi….