チャットAI「LLaMA」を一発でローカルにインストールして「文章の続きを書く機能」を試せる「Dalai」使い方まとめ

FacebookやInstagramの運営元であるMetaが開発した言語モデル「LLaMA」は、単体GPUで動作する手軽さとChatGPTに匹敵する性能を両立しているとして話題になっています。そんなLLaMAをApple シリコン搭載Macで動作可能にした「llama.cpp」をGUI付きで簡単に動作させられる「Dalai」が登場したので、実際にインストールして「文章の続きを書く機能」を試してみました。

dalai
https://cocktailpeanut.github.io/dalai/

Dalaiを使うには、JavaScript実行環境「Node.js」や開発者向けツール詰め合わせパック「Command Line Tools」を先にインストールしておく必要があります。今回はiMacを使って、必要なソフトウェアから順番にインストールしてみます。既に環境が整っている場合は、「Dalaiのインストール＆起動」までスクロールしてください。

・目次
◆1：Node.jsのインストール
◆2：Command Line Toolsのインストール
◆3：Dalaiのインストール＆起動
◆4：DalaiでLLaMAの「文章の続きを書く機能」を使ってみた

◆1：Node.jsのインストール
まず、以下のリンクをクリックしてNode.jsのダウンロードページにアクセスします。

Node.js
https://nodejs.org/ja/download/

続いて、「macOS Installer」をクリックして、インストーラー(ファイルサイズ70.4MB)をダウンロードします。

次に、ダウンロードしたインストーラーをダブルクリックして起動します。

インストーラーが起動したら「続ける」をクリック。

使用許諾契約をよく読んでから「続ける」をクリック。

「同意」をクリック。

「インストール」をクリック。

Macにログインする際のパスワードを入力して「ソフトウェアをインストール」をクリック。

以下の警告が表示されたら「OK」をクリック。

少し待つとインストールが完了するので「閉じる」をクリックします。

最後に「ゴミ箱に入れる」をクリックすれば、Node.jsのインストールは完了です。

◆2：Command Line Toolsのインストール
続いて、Appleが提供している開発者向けツール詰め合わせパック「Command Line Tools」をインストールします。Xcodeをインストール済みの場合はCommand Line Toolsも既にインストールされているので、この項目は飛ばしてOKです。

まず、「Commandキー」と「Spaceキー」を同時押ししてSpotlightを開き、「ターミナル」を検索して起動します。

以下のような画面が開けばOK。

続いて、以下のコマンドを入力して「Enterキー(Returnキー)」を押します。

xcode-select --install

画像をで示すとこんな感じ。上記のコマンドを丸ごとコピー＆ペーストしてから「Enterキー」を押せばOK。

インストール確認画面が表示されたら「インストール」をクリック。

使用許諾契約をよく読んでから「同意する」をクリック。

インストールは数分間かかります。

インストールが完了したら「完了」をクリック。これでDalaiのインストール準備はすべて完了です。

◆3：Dalaiのインストール＆起動
Dalaiは、以下のコマンドを実行するだけでインストールできます。

npx dalai llama

画像で示すとこんな感じ。

モデルデータのダウンロードなどが自動的に進むので、しばらく待機します。

以下のような画面になれば、インストール完了です。

Dalaiを起動するには、以下のコマンドを実行します。

npx dalai serve

画像で示すとこんな感じ。

「Server running on http://localhost:3000」と表示されたら、SafariやFirefoxなどのブラウザを起動します。

ブラウザを起動したら、「http://localhost:3000」にアクセスします。

すると、以下のようにDalaiのUIが表示されます。

◆4：DalaiでLLaMAの「文章の続きを書く機能」を使ってみた
Dalaiでは、テキストボックスに文章を入力してから「Autocomplete」をクリックすることで、入力した文章の続きを生成できます。試しに「I like cake.(私はケーキが好きです)」と入力してから「Autocomplete」をクリック。

すると、ケーキをいかに好きか熱弁する文章が生成されました。しかし、文章の途中から「ケーキをかざる棚のセールストーク」が始まっており、あまり自然な文章とは言えません。

今度は「This is a pen.(これはペンです)」と入力してから「Autocomplete」をクリック。

今度は、「三洋とパナソニックが開発した素晴らしきペン」という謎製品の解説文が生成されました。

日本語だとどうなるのか気になったので「こんにちは。」と入力してから「Autocomplete」をクリック。

すると、文章の続きが英語で生成されました。日本語での文章生成には対応していないようです。

なお、Dalaiのソースコードは、以下のリンク先で公開されています。

GitHub - cocktailpeanut/dalai: The simplest way to run LLaMA on your local machine
https://github.com/cocktailpeanut/dalai