Llama 2などの大規模言語モデルをローカルで動かせるライブラリ「Ollama」がAMD製グラボに対応

「Ollama」は「Llama 2」「Mistral」「Vicuna」「LLaVA」といった大規模言語モデル(LLM)をローカルで比較的簡単に動作させられるライブラリです。そんなOllamaがAMD製グラフィックボードでの動作に対応しました。

Ollama now supports AMD graphics cards · Ollama Blog
https://ollama.com/blog/amd-preview

OllamaはWindows、macOS、Linux向けに公開されているライブラリで、公式Dockerイメージも配布されています。以下の記事では、DebianにDockerをインストールしてOllama公式Dockerイメージを起動しLLMを動作させるまでの手順を詳しく解説しています。

さまざまなチャットAIを簡単にローカル環境で動かせるアプリ「Ollama」の公式Dockerイメージが登場 - GIGAZINE

OllamaではCPUで処理するモードとGPUで処理するモードを使用可能。これまでGPU処理モードはNVIDIA製グラフィックボードにのみ対応していましたが、2024年3月14日にAMD製グラフィックボードにも対応したことが発表されました。記事作成時点でサポートされているグラフィックボードは以下の通りです。

◆AMD Radeon RXシリーズ
・AMD Radeon RX 7900 XTX
・AMD Radeon RX 7900 XT
・AMD Radeon RX 7900 GRE
・AMD Radeon RX 7800 XT
・AMD Radeon RX 7700 XT
・AMD Radeon RX 7600 XT
・AMD Radeon RX 7600
・AMD Radeon RX 6950 XT
・AMD Radeon RX 6900 XTX
・AMD Radeon RX 6900 XT
・AMD Radeon RX 6800 XT
・AMD Radeon RX 6800
・AMD Radeon RX Vega 64
・AMD Radeon RX Vega 56

◆AMD Radeon PROシリーズ
・AMD Radeon PRO W7900
・AMD Radeon PRO W7800
・AMD Radeon PRO W7700
・AMD Radeon PRO W7600
・AMD Radeon PRO W7500
・AMD Radeon PRO W6900X
・AMD Radeon PRO W6800X Duo
・AMD Radeon PRO W6800X
・AMD Radeon PRO W6800
・AMD Radeon PRO V620
・AMD Radeon PRO V420
・AMD Radeon PRO V340
・AMD Radeon PRO V320
・AMD Radeon PRO Vega II Duo
・AMD Radeon PRO Vega II
・AMD Radeon PRO VII
・AMD Radeon PRO SSG

◆AMD Instinctシリーズ
・AMD Instinct MI300X
・AMD Instinct MI300A
・AMD Instinct MI300
・AMD Instinct MI250X
・AMD Instinct MI250
・AMD Instinct MI210
・AMD Instinct MI200
・AMD Instinct MI100
・AMD Instinct MI60
・AMD Instinct MI50

対応グラフィックボードは今後も増加する予定です。

なお、Ollamaソースコードは以下のリンク先で公開されています。

ollama/ollama: Get up and running with Llama 2, Mistral, Gemma, and other large language models.
https://github.com/ollama/ollama

◆フォーラム開設中
本記事に関連するフォーラムをGIGAZINE公式Discordサーバーに設置しました。誰でも自由に書き込めるので、どしどしコメントしてください！Discordアカウントを持っていない場合は、アカウント作成手順解説記事を参考にアカウントを作成してみてください！

• Discord | "AIモデルリリース系ニュースの自分流の着目点を教えて！「自分のPCで動くか」「どれくらいの性能か」「開発元はどこか」とか何が重要？" | GIGAZINE(ギガジン)
https://discord.com/channels/1037961069903216680/1219572135463354399