GPT-3のライバルとなるMetaの「LLaMA」をM1搭載Macで実行可能に、大規模言語モデルを普通の消費者向けハードウェアで実行可能であることが示される

日常生活でのAI(人工知能)の使用への関心が高まる中、OpenAIのGPT-3やMicrosoftのKosmos-1などの大規模言語モデル(LLM)が注目を浴びており、2023年2月にはMetaが新たなLLMである「LLaMA」を発表しました。このLLaMAはGPT-3よりも小さな規模でありながらGPT-3に匹敵する性能を単体GPUの環境でも示すことが可能ということで、エンジニアのジョージ・ゲルガノフ氏がM1などのApple シリコン搭載MacでLLaMAを動作させる「llama.cpp」をGitHubで公開しています。

GitHub - ggerganov/llama.cpp: Port of Facebook's LLaMA model in C/C++
https://github.com/ggerganov/llama.cpp

l1x/dev | Using LLaMA with M1 Mac
https://dev.l1x.be/posts/2023/03/12/using-llama-with-m1-mac/

LLaMAはMetaのAI研究組織であるMeta AI Researchが発表したLLMです。LLMの規模を示すパラメータ数は70億から650億で、LLaMAの13B(パラメータ数130億)モデルのベンチマークテストの結果は、パラメータ数1750億のGPT-3に匹敵したと報告されています。

また、本来であればAIに最適化したアクセラレータを複数使ったデータセンター環境でなければ動作が難しいGPT-3と異なり、LLaMAは単体GPUでも問題なく動作したことから、コンシューマーレベルのハードウェア環境でもChatGPTのような対話型AIを動かせる可能性も示唆されていました。

Metaが大規模言語モデル「LLaMA」を発表、GPT-3に匹敵する性能ながら単体のGPUでも動作可能 - GIGAZINE

このLLaMAはコードの一部だけがGitHubにホストされ、Meta AI Researchに連絡すれば重み付けのデータを含めた完全なコードを受け取れるという形で公開されていました。しかし、公開から1週間後にオンライン掲示板サイトの4chanにLLaMAのモデルデータが4chanに流出しました。

Metaの大規模言語モデル「LLaMA-65B」のデータが4chanで流出 - GIGAZINE

ゲルガノフ氏はLLaMAを使った推論をmacOS・Linux・Windowsで動作させるプロジェクト「llama.cpp」の開発を進めており、M1搭載MacBook ProでLLaMAを動作させることに成功したとのこと。

ゲルガノフ氏は、LLaMAの13B(パラメータ数130億)モデルをM1搭載Macで、毎秒10トークンの処理速度で動作可能だと報告しています。

実際にLLaMAの65B(パラメータ数650億)モデルをM1搭載MacBook Pro(メモリ64GB)で動かしているムービーが以下のツイートで公開されています。

さらに、1台のM1搭載MacBook Proで、LLaMAの7B(パラメータ数70億)モデルと、OpenAIの高性能文字おこしAI「Whisper」を同時に実行するデモもGitHubで公開しています。以下のサムネイルをクリックすることで、実際にLLaMA-7BとWhisperの両方をM1搭載MacBook Proで実行している様子をムービーで見ることができます。

なお、「llama.cpp」は記事作成時点でmacOSとLinuxに対応となっており、Windowsはまだ対応していないとされていますが、すでに64bit Windows環境(Intel Core i7-10700T・メモリ16GB)で動作したことが報告されており、使用メモリはわずか5GBだったそうです。

Windows 64-bit, Microsoft Visual Studio - it works like a charm after those fixes! · Issue #22 · ggerganov/llama.cpp · GitHub
https://github.com/ggerganov/llama.cpp/issues/22