7440億パラメーターの巨大AI「GLM-5.2」をメモリ25GBの普通のPCで動かす推論エンジン「Colibrì」が登場

7440億パラメーターを備えた大規模言語モデル「GLM-5.2」をメモリ25GBの一般向けPCで動作させる推論エンジン「Colibrì」が公開されました。VRAMやRAMにモデル全体を読み込むのではなく、必要になったデータだけをSSDから随時読み出す仕組みとなっています。

GitHub - JustVugg/colibri: Run GLM-5.2 (744B MoE) on a 25GB-RAM consumer machine — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦 · GitHub
https://github.com/JustVugg/colibri

巨大なAIモデルがオープンモデルとして無料公開される例が増えていますが、モデルを実際に動作させるには数百GBのメモリが必要であり、自宅のPCで実行するのは困難です。GLM-5.2は長時間にわたる作業を想定したZ.aiのフラッグシップモデルで、最大100万トークンの文脈を安定して扱えるなど高性能なモデルですが、パラメーター数は7440億個で、量子化などの省メモリ手法を適用したとしても家庭のPCで実行するのは困難です。そんなGLM-5.2をメモリ容量の少ないPCでも実行できるようにする推論エンジンがColibrìで、開発者は12コアCPUと25GBのメモリを搭載したPCでGLM-5.2を実行できたとアピールしています。

Claude Opus 4.7超えの中華モデル「GLM-5.2」が正式発表される、一部テストではClaude Fable 5を上回りオープンモデルとして誰でもダウンロード可能に - GIGAZINE

Colibrìの開発者であるvforno氏は、GLM-5.2が「Mixture-of-Experts(MoE)」と呼ばれる構造を採用している点に着目しました。MoEでは質問に答えるたびに7440億個すべてのパラメーターを使うのではなく、入力内容に適した一部の「エキスパート」だけを選んで計算します。GLM-5.2が1トークンを生成する際に実際に活性化されるパラメーターは約400億個とのこと。

Colibrìは文章中の重要な部分を判断する注意機構や単語を数値データに変換する埋め込み層など、常に必要となる約170億パラメーターを4bitに圧縮し、約9.9GBのデータとしてRAMに常駐させます。一方で入力によって選択先が変わる2万1504個のエキスパートは約370GBのデータとしてSSDなどのストレージに配置。回答生成中に必要になったエキスパートだけをストレージから読み込みます。

SSDへのアクセス回数を減らすため、最近使ったエキスパートをRAMに残すLRUキャッシュも用意されています。さらに利用履歴から頻繁に呼び出されるエキスパートを記録し、空いているRAMへ優先的に固定する学習型キャッシュを搭載。利用履歴は対話ごとに記録され、次回の起動時には頻繁に使われたエキスパートが空きRAMへ優先的に読み込まれます。

実行エンジンは約1300行のC言語ファイルを中心に構成され、推論の実行時には外部ライブラリへの依存がなく、Pythonや外部の数値計算ライブラリを必要としません。GPUも不要で、主な要件は「LinuxまたはWindows Subsystem for Linux 2(WSL2)」「OpenMP対応のGCCコンパイラ」「AVX2対応CPU」「16GB以上のRAM」「約370GBのモデルを保存できるローカルNVMe SSD」となっています。

ただし少ないメモリで動かせる代わりに処理速度は非常に遅く、開発に使用された12コアCPUとメモリ25GBのPCでは、トークンの生成速度はキャッシュが空の状態で1秒当たり約0.05～0.1トークンでした。キャッシュが空の場合は1トークンごとに約11GBのデータをSSDから読む必要があるため、短い回答にも数分かかる可能性があります。vforno氏も速度ではなく「どれほど遅くても動作させること」を目標にしたと説明しています。

複数の候補トークンを先に予測してまとめて検証する「Multi-Token Prediction(複数トークン予測)を利用した投機的デコーディング」も実装されています。必要なエキスパートがRAM内のキャッシュに蓄積された状態では読み込み回数を減らせる可能性がありますが、キャッシュが空の場合は余分なエキスパートを呼び出して逆に遅くなる場合があるとのこと。また、記事作成時点では4bit量子化による精度低下の本格的な測定や、長い文脈を効率よく処理する疎な注意機構の実装が完了していないと述べられています。

vforno氏は高速なSSDや大容量RAMを備えたPCでのベンチマーク結果、品質評価、コード改善への協力などの支援を募っています。