2023年08月01日 23時00分レビュー

オフラインで動作＆データを読み込んでその内容を元に回答してくれるAIチャットツール「Khoj」を2019年に購入したノートPCで動かしてみた

Khojは、PC内のドキュメントを読み込んで回答したりドキュメントそのものを検索したりする機能が備わっているAIチャットツールです。推論時にはインターネット接続不要で、動作がローカルで完結するとのことなので、2019年に購入したi7-8650U搭載のノートPCで動作可能なのか試してみました。

khoj/docs at master · khoj-ai/khoj
https://github.com/khoj-ai/khoj

Khojの動作にはPythonが必要です。Pythonの公式サイトへ行き、「Downloads」にカーソルをのせると出てくる「Python 3.XX.X」というボタンをクリックします。

インストーラーがダウンロードされるので、ダブルクリックして実行。

「Add python.exe to PATH」にチェックを入れて「Install Now」をクリックします。

インストールが始まるのでしばらく待機。完了したら「Close」をクリックしてインストーラーを終了します。

また、Khojのインストール時には「Microsoft C++ Build Tools」が必要です。Microsoftのサイトへアクセスし、「Build Tools のダウンロード」をクリック。

インストーラーがダウンロードされるので、ダブルクリックして実行します。

「続行」をクリック。

何をインストールするかを選択する画面になるので、「C++によるデスクトップ開発」にチェックを入れます。右側にオプションが表示されるので、「MSVC v143～」「Windows 11 SDK」「Windows 用 C++ CMake ツール」「ツールのコア機能のテスト」の4つだけを選択した状態にし、「インストール」をクリックします。

インストールには30分以上かかりました。「OK」をクリックしてインストーラーを終了後、PCを再起動しておきます。

これで事前準備は完了です。Khojのリリースページにアクセスし、一番新しいバージョンの「exe」形式のファイルをダウンロードします。

ダウンロードしたファイルをダブルクリックで実行。

セキュリティの警告が出るので、「詳細情報」をクリックします。

「実行」をクリック。

Khojが起動しました。「Open Web UI」をクリックするとブラウザが起動し、Khojの「Settings」画面が開きます。

最初にチャットを有効化するため、Settings画面を下にスクロールして「Offline Chat」の項目にある「Enable」をクリック。

10分程度待機すると「Offline Chat」の横にチェックマークが入りました。

「Chat」タブへ移動し、プレースホルダーにある通り「What is the meaning of life?」と聞いてみます。

かなり長文の答えが返ってきました。回答が始まるまでに約20秒、回答完了までには1分以上の時間がかかりました。

日本語を使えるか聞いてみましたが、返答は英語でした。ただし、こちらの質問内容はきちんと理解できているようです。

推論中のCPU使用率・メモリ使用量はこんな感じ。CPUはi7-8650Uを利用しています。なお、記事作成時点ではGPUを利用する設定はなさそうです。

通常のチャットAIとしての利用は問題ないことがわかったので、続いてプラグインの機能を試してみます。利用できるプラグインの一覧は「Settings」画面で確認でき、記事作成時点では「Github」「Notion」「Markdown」「Org」「PDF」の5つとなっています。今回は「Markdown」をクリック。