2023年10月21日 22時30分レビュー

さまざまなチャットAIを簡単にローカル環境で動かせるアプリ「Ollama」の公式Dockerイメージが登場

「Mistral」「Llama 2」「Vicuna」などオープンソースの大規模言語モデルを簡単にローカルで動作させることが可能なアプリ「Ollama」の公式Dockerイメージが登場したので、早速使い勝手を試してみました。

Ollama is now available as an official Docker image · Ollama Blog
https://ollama.ai/blog/ollama-is-now-available-as-an-official-docker-image

Ollamaで動作可能な大規模言語モデルの代表例は下記の通り。リストの全体についてはOllamaの公式サイトで確認することができます。

モデル	パラメーター	サイズ	Download
Mistral	7B	4.1GB	`ollama run mistral`
Llama 2	7B	3.8GB	`ollama run llama2`
Code Llama	7B	3.8GB	`ollama run codellama`
Llama 2 Uncensored	7B	3.8GB	`ollama run llama2-uncensored`
Llama 2 13B	13B	7.3GB	`ollama run llama2:13b`
Llama 2 70B	70B	39GB	`ollama run llama2:70b`
Orca Mini	3B	1.9GB	`ollama run orca-mini`
Vicuna	7B	3.8GB	`ollama run vicuna`

パラメーター数が3B(30億)のモデルを動作させるには最低8GBのメモリが必要で、7B(70億)のモデルでは16GB、13B(130億)のモデルでは32GBのメモリが必要とのこと。

ということで、早速Ollamaを動作させるための環境を整えていきます。今回はDockerを利用するので、下記のリンクから自分の環境に合った方法でDockerをインストールします。

Install Docker Engine | Docker Documentation
https://docs.docker.com/engine/install/

今回はDebianを利用するため、下記のコマンドを入力しました。

sudo apt-get update
sudo apt-get install ca-certificates curl gnupg

sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/debian/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg

echo \
  "deb [arch="$(dpkg --print-architecture)" signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/debian \
  "$(. /etc/os-release && echo "$VERSION_CODENAME")" stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Dockerがインストールできたら続いてOllamaを起動します。CPUのみを使用して動作するモードと、NVIDIA製のGPUを利用して動作を高速化できるモードがありますが、今回はCPUのみのモードで起動するので下記のコマンドを実行します。

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Ollamaコンテナの起動後、下記のコマンドでOllamaを操作可能です。

docker exec -it ollama [実行したいコマンド]

今回はLlama 2の7Bモデルを使用するので、前述した表の「Download」の欄を参考に、「docker exec -it ollama ollama run llama2」のコマンドを実行すると、自動でモデルがダウンロード＆実行されました。入力可能になると「>>>」という表示が出るので、ここにチャットを打ち込めばOK。ひとまず「Hello!」とあいさつしてみました。