ChatGPTなど複数のチャットAIからの返答をまとめて比較できるツール「OpenPlayground」を使ってみた

チャットAIの進化速度はすさまじいもので、次々と新たな言語モデルが登場しています。ChatGPTだけでも複数のバージョンが存在しているほか、特定の用途に特化した言語モデルなども登場しているため、どのモデルを選べばいいのか迷ってしまいがちなものです。Githubの元CEOであるナット・フリードマンさんが開発している「OpenPlayground」は、そうした複数の言語モデルを比較する際に役立つUIを提供してくれるツールとのこと。どんなものなのか、早速使い勝手を試してみました。

GitHub - nat/openplayground: An LLM playground you can run on your laptop
https://github.com/nat/openplayground

GitHubのページを見ると、インストール方法が2つ用意されている模様。今回はDockerを利用したインストール方法を使ってみます。

Dockerのインストール方法については、下記のページの前半に詳しく記載してあります。

画像生成AI「Stable Diffusion」にたった数枚のイラストから絵柄や画風を追加学習できる「Dream Booth」が簡単に使える「Dreambooth Gui」レビュー - GIGAZINE

Dockerが起動できたら、後はインストール方法に記載されているコマンドをコマンドプロンプトに入力するだけでOK。必要なデータが自動でダウンロードされます。

インストールが完了したら、ブラウザを立ち上げて「localhost:5432」を開くとOpenPlaygroundのページが開きます。

まず「Settings」ページで各チャットAIと接続する必要があります。左の列を見ると、「openai」「cohere」「huggingface」「huggingface-local」「anthropic」「aleph-alpha」「openplayground」と接続できるとのこと。

今回はOpenAIに接続してみます。OpenAIのAPIキーを入力し、比較候補のモデルにチェックを入れます。今回は上から4つ「text-ada-001」「text-babbage-001」「text-curie-001」「text-davinci-003」を選択してみました。

まずは単体で動作を確認します。モデルを選択し、文字を入力して「Submit」をクリックすると……

AIの生成したテキストがハイライト付きで追記されました。

動作確認ができたら、「Compare」タブに移動します。右下に先ほど候補に入れたチャットAIが並んでいます。

右下のチャットAIにチェックを付けると、左の欄に名前付きの枠が表示されます。

上の入力欄にテキストを入れて「Submit」をクリックすると、全部のAIが同時に回答を行ってくれるというわけ。AIごとにどんな返事が返ってくるのかを比較できます。

日本語が使えるか聞いてみたところ、今回入れたAIの中ではdavinciだけが使える模様です。

もうちょっと日本語で遊びたいので、「Settings」タブに戻って「gpt-3.5-turbo」「gpt-4」を比較対象に入れてみました。

他のチャットAIと比較されることにAIがどう思うのかを聞いてみたところ、davinciはストレートに「嫌です。」とのこと。自分の価値は自分で決めるという強い意志が感じられます。一方gpt-3.5は少し落ち着いた返答に見えて部分部分でプライドが見え隠れしています。

gpt-4ならここからさらに大人な返事を返してくれるはず……と思って期待していたのですが、記事作成時点では残念ながらgpt-4はエラーが出て使えませんでした。