グラボ非搭載の低スペックPCでも使える軽量チャットAI「GPT4ALL」の使い方まとめ

ChatGPTを代表に高性能なチャットAIが続々と発表されていますが、チャットAIの多くはオンラインで使う必要がある他、オフラインで動作するチャットAIも高性能PCを求めるものがほとんどです。そんな中、高性能GPUを搭載していないPCでも動かせる「GPT4ALL」が登場しました。実際に使ってみたところグラフィックボードを搭載していないモバイルノートPCでも動かせたので、使い方をまとめてみました。

GitHub - nomic-ai/gpt4all: gpt4all: a chatbot trained on a massive collection of clean assistant data including code, stories and dialogue
https://github.com/nomic-ai/gpt4all

GPT4ALLは、Nomic AIが開発したチャットAIで、高精度な会話能力とノートPCでも動かせるほどの軽量さを特徴としています。GPT4ALLがどんなAIなのかは、以下の記事で詳しく解説しています。今回は、実際にWindowsでGPT4ALLを使う手順を確認してみます。

無料でノートPCでも実行可能な70億パラメータのチャットボット「GPT4ALL」発表 - GIGAZINE

上述の通り、GPT4ALLはノートPCでも動く軽量さを特徴としています。そこで、今回はグラフィックボードを搭載していないモバイルノートPC「VAIO SX12」でGPT4ALLを使ってみます。

まずは、必要なファイルをダウンロードするために以下のリンク先にアクセス。

GitHub - nomic-ai/gpt4all: gpt4all: a chatbot trained on a massive collection of clean assistant data including code, stories and dialogue
https://github.com/nomic-ai/gpt4all

続いて、「Code」をクリックしてから「Download ZIP」をクリックしてZIPファイル(ファイルサイズ：3.54MB)をダウンロードします。

ZIPファイルをダウンロードしたら、Windows標準機能やExplzhなどのソフトを使って解凍します。

「gpt4all-main」というファイルが出来上がったら、ダブルクリックして開きます。

以下のようにフォルダやファイルがズラリと並んでいればOKです。

次に、GPT4ALLのモデルデータ(ファイルサイズ：3.92GB)を以下の直接リンクをクリックするかTorrentのマグネットリンクを利用してダウンロードします。サーバーの混雑を避けるために、Torrentを扱える環境ならマグネットリンクを利用するのがベターです。

直接リンク：https://the-eye.eu/public/AI/models/nomic-ai/gpt4all/gpt4all-lora-quantized.bin

マグネットリンク(要Torrent対応ソフトウェア)：magnet:?xt=urn:btih:1F11A9691EE06C18F0040E359361DCA0479BCB5A&dn=gpt4all-lora-quantized.bin&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce&tr=udp%3A%2F%2Fopentracker.i2p.rocks%3A6969%2Fannounce

モデルデータをダウンロードしたら、「gpt4all-main」フォルダ内の「chat」フォルダの中に移動させます。

こんな感じに、「chat」フォルダの中にモデルデータが配置されればOKです。

続いて、エクスプローラーで「gpt4all-main」フォルダの先頭(「chat」フォルダの1つ上の階層)を表示し、画面上部のアドレスバー内の空白部分をクリックします。

テキストを入力可能になったら「powershell」と入力してEnterキーを押します。

すると、Powershellが「gpt4all-main」フォルダを開いた状態で起動します。

Powershellが起動したら、以下のコマンドを実行します。

cd chat;./gpt4all-lora-quantized-win64.exe

コマンド実行方法を画像で示すとこんな感じ。まず、上記のコマンドを丸ごとコピー＆ペーストして、Enterキーを押すだけです。

コマンドを実行すると、チャットAIが起動します。画面下部に「>」と表示されたら、会話を始められます。

会話方法は以下の通り。まず、文章を入力してEnterキーを押します。

少し待つと、AIが返答してくれます。

カレーの作り方やカレーにあう飲み物などを質問した際の画面が以下。質問に応じて適切な回答を返してくれます。

日本語を入力した結果が以下。日本語を入力しても四角い記号が表示されてしまいました。

Powershellの代わりに「Windows Terminal」を使ってみた結果、日本語の入力は成功したものの、「処理を完了できません」という返答が英語で返ってきました。

macOSでGPT4ALLを使ってみた結果、日本語の入力に対して日本語で返答してくれました。しかし、返答内容は支離滅裂。GPT4ALLは英語でのコミュニケーションは十分に可能ですが、日本語対応にはかなり難があります。

なお、AIが処理を実行している間のCPU使用率はこんな感じ。全スレッドが100％付近に貼り付いており、CPUを最大限に活用していることが分かります。一方で、画面左側のGPU使用率に着目すると、GPUはほとんど使われていないことが分かります。GPT4ALLでは動作にGPUパワーを必要としないので、専用グラフィックボードを搭載していないノートPCなどのマシンでも動作させられるというわけです。