チャットAI「Alpaca」をローカルにインストールしてオフラインでAIと会話できる「Alpaca.cpp」インストール手順まとめ

2023年3月に、スタンフォード大学がChatGPTと同等の性能を持ったチャットAIモデル「Alpaca」を公開しました。このAlpacaをPCにインストールしてチャットAIをローカルで動かせるようにする「Alpaca.cpp」が登場したので、実際にインストールしてチャットAIと会話する手順をまとめてみました。

GitHub - antimatter15/alpaca.cpp: Locally run an Instruction-Tuned Chat-Style LLM
https://github.com/antimatter15/alpaca.cpp

「Alpaca.cpp」をインストールしてチャットAIと会話できる環境をWindows上に構築するには、まずC＋＋のコンパイラや「CMake」「Git」などの各種ソフトウェアをインストールする必要があります。今回はC＋＋のコンパイラを準備するためにMicrosoft製IDE「Visual Studio 2022」をインストールし、続けて各種ソフトウェアをインストールした上で「Alpaca.cpp」を使ったチャットAI環境を構築してみます。

・目次
◆1：Visual Studio 2022のインストール
◆2：CMakeのインストール
◆3：Gitのインストール＆リポジトリのクローン作成
◆4：Alpaca.cppをビルド
◆5：Alpacaモデルデータをダウンロード
◆6：チャットAIを起動

◆1：Visual Studio 2022のインストール
Visual Studio 2022をインストールするには、まず以下のリンクをクリックしてダウンロードページにアクセスします。

Download Visual Studio Tools - Install Free for Windows, Mac, Linux
https://visualstudio.microsoft.com/ja/downloads/

ダウンロードページにアクセスしたら「Community」と記された部分の「無料ダウンロード」をクリックしてインストーラー(ファイルサイズ：3.53MB)をダウンロードします。

ダウンロードが完了したら、インストーラーをダブルクリックして実行。

以下の画面が表示されたら「実行」をクリックします。

しばらく待つと、以下のようなインストール項目選択画面が表示されます。

初期状態で「ASP.NETとWeb開発」「Azureの開発」「.NETデスクトップ開発」の3箇所にチェックが入っていますが、今回は不要なのでチェックを外します。

続いて「C＋＋によるデスクトップ開発」にチェックを入れてから「インストール」をクリック。

インストール完了まで数分間待ちます。

インストールが完了するとPCの再起動を推奨されるので、「OK」をクリックしてから再起動します。

◆2：CMakeのインストール
次に、Alpaca.cppのビルドに必要なソフトウェア「CMake」をインストールします。まずは、以下のリンクをクリックしてダウンロードページにアクセスします。

Download | CMake
https://cmake.org/download/

ダウンロードページにアクセスしたら、下方向にスクロール。

「cmake-3.26.0-windows-x86_64.msi」を探してクリックし、インストーラー(ファイルサイズ：29.6MB)をダウンロードします。

ダウンロードが完了したら、インストーラーをダブルクリックして起動します。

インストーラーが起動したら「Next」をクリック。

ライセンスをよく読んでから同意のチェックを入れて「Next」をクリック。

「Add CMake to the system PATH for the current user」にチェックを入れて「Next」をクリック。

インストール先選択画面が表示されたら、何も変更せずに「Next」をクリック。

「install」をクリック。

インストールは数秒で完了します。

インストールが完了したら「Finish」をクリックしてインストーラーを終了します。

◆3：Gitのインストール＆リポジトリのクローン作成
次に、Alpaca.cppのビルドに必要なファイルをPCにダウンロードします。今回はバージョン管理ツール「Git」を用いてダウンロードするので、Gitを未インストールの場合は、以下のページ中に記載された「Gitのインストール」の項目を参考にインストールしてください。

画像生成AI「Stable Diffusion」を4GBのGPUでも動作OK＆自分の絵柄を学習させるなどいろいろな機能を簡単にGoogle ColaboやWindowsで動かせる決定版「Stable Diffusion web UI(AUTOMATIC1111版)」インストール方法まとめ - GIGAZINE

Gitのインストールが完了したら、PC上の任意のフォルダを開いてから右クリックメニューを開き「ターミナルで開く」をクリックします。

すると、Windows Terminalが起動して以下のような画面が表示されます。

上記の画面が表示されたら、以下のコマンドを入力してからEnterキーを押します。

git clone https://github.com/antimatter15/alpaca.cpp

画像で示すとこんな感じ。上記のコマンドを丸ごとコピー＆ペーストしてからEnterキーを押せばOKです。

正しいコマンドを入力すると、以下のように文字がダーッと流れて必要なファイルがダウンロードされます。

ファイルのダウンロードが完了すると、開いていたフォルダに「alpaca.cpp」というファイルが追加されるので、ダブルクリックして中身を確認します。

「alpaca.cpp」フォルダに以下のようなファイルが保存されていれば、必要ファイルのダウンロードは完了です。

◆4：Alpaca.cppをビルド
続いて、「alpaca.cpp」フォルダ内の空白部分を右クリックしてから「ターミナルで開く」をクリックします。

すると、Windows Terminalが起動して以下のような画面が表示されます。

次に、以下のコマンドを実行します。半角スペースの後の「.」を忘れないように注意。

cmake .

画像で示すとこんな感じ。このコマンドもコピー＆ペーストしてからEnterキーを押せばOKです。

文字がダーッと流れるので、しばらく待ちます。最後に「○○\alpaca.cpp」と表示されたら次に進みます。

今度は、以下のコマンドを実行します。

cmake --build . --config Release

画像で示すとこんな感じ。

「データが失われる可能性があります」という警告が何度も表示されますが、問題なし。最後に「○○\alpaca.cpp」と表示されたらビルド完了です。

◆5：Alpacaモデルデータをダウンロード
次に、Alpacaのモデルデータ(ファイルサイズ：3.92GB)をダウンロードします。モデルデータは直接配布あるいはTorrentで配布されており、TorrentでダウンロードするにはBitTorrentなどのクライアントが必要となります。

直接ダウンロードリンク
・https://gateway.estuary.tech/gw/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC
・https://ipfs.io/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC
・https://cloudflare-ipfs.com/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC

(要Torrent対応ソフトウェア)Torrentファイル
・https://btcache.me/torrent/5AACEAEC63B03E51A98F04FD5C42320B2A033010
・https://torrage.info/torrent.php?h=5aaceaec63b03e51a98f04fd5c42320b2a033010
・マグネットリンク

ダウンロードが完了したら、ファイルを選択した状態でF2キーを押します。

名前の変更が可能になったら「ggml-alpaca-7b-q4.bin」とう名前に変更します。

以下のようにbinファイルが出来上がったらOK。

出来上がったbinファイルを「alpaca.cpp」フォルダに移動します。

「alpaca.cpp」フォルダの中に「ggml-alpaca-7b-q4.bin」が存在する状態になったらモデルデータの準備は完了です。

◆6：チャットAIを起動
チャットAIを起動する手順は以下の通り。まず、「alpaca.cpp」フォルダを開いてから空白部分を右クリックし、「ターミナルで開く」をクリックします。

すると、Windows Terminalが起動します。

次に以下のコマンドを実行。

.\Release\chat.exe

画像で示すとこんな感じ。

文字がダーッと流れて最下部に「＞」と表示されたらチャットAIの起動は完了です。

後は、文章を入力してEnterキーを押せばAIが返答してくれます。試しに「Hello(こんにちは)」と入力してEnterキーを押してみました。

するとAIが「Hi there！(やあ！)」と応じてくれました。

「Tell me how to make an apple pie.(アップルパイの作り方を教えて)」と入力すると、アップルパイのレシピを教えてくれます。

ただし、Alpacaは日本語には対応していないようで、「こんにちは」と入力すると文字化けのような意味不明な返答が返ってきました