2023年11月30日 20時00分レビュー

インターネット上の最新情報を収集して最近の話題に対応できる大規模言語モデル「pplx-7b-online」＆「pplx-70b-online」が公開されたので性能を確かめてみた

ChatGPTなどのチャットAIに「野球の試合結果」「昨日の天気」などの情報を聞くと、「最新情報は学習していないので答えられない」という旨の回答が返ってきます。AI開発企業のPerplexityが開発した大規模言語モデル(LLM)「pplx-7b-online」と「pplx-70b-online」は、インターネット上の情報を収集して最新情報に沿った質問に回答できるとのこと。すでに両モデルを無料で使えるデモサイトも用意されていたので、どんな回答が可能なのか確かめてみました。

Introducing PPLX Online LLMs
https://blog.perplexity.ai/blog/introducing-pplx-online-llms

Perplexityが発表した2種のLLMのうち、「pplx-7b-online」は「Mistral 7B」に調整を施したもので、「pplx-70b-online」は「Llama2(70B)」に調整を施したものです。2種のモデルを用いたチャットAIのデモサイトも用意されていたので、実際にどんな返答が返ってくるのか確かめてみました。

Perplexity Labs
https://labs.perplexity.ai/

デモサイトの見た目はこんな感じ。画面右下には「pplx-7b-online」を使っていることが示されています。

チャットを試すには画面下部に文章を入力してから「↑」ボタンをクリックすればOK。まずは日本語を使えるか確かめるべく「日本語で応答できますか？」と入力してみました。

回答はこんな感じ。「応答」という単語の意味を解説するという質問の趣旨から離れた回答が返ってきましたが、とりあえず日本語は使えるようです。

「OpenAIのCEOは誰？」と聞くと、「サム・アルトマン氏がCEOを務めていたものの一度解任され、そして再度CEOに就任した」という2023年11月30日のニュースに沿った回答が帰ってきました。新たな取締役のメンバーについても日本語への変換が少し怪しいもののおおむね正しく回答できています。

「pplx-70b-online」の回答も確かめたいので、「pplx-7b-online」と記された部分をクリックしてから「pplx-70b-online」をクリックし、使用するLLMを切り替えます。

「pplx-70b-online」にも「OpenAIのCEOは誰？」と質問してみると、「サム・アルトマン氏がCEOを解任され、ミラ・ムラティ氏が暫定CEOに就任した」という2023年11月17日の古めの情報に沿った回答が返ってきました。

続いて、「AppleとArmの契約について記したGIGAZINEの記事(公開日時：2023年11月30日11時08分)」のURLを示しつつ記事の要約を依頼してみました。「pplx-7b-online」は「AppleがArmに支払っているロイヤリティは1チップ当たり30セント未満」という要点を含む文章を返してくれましたが、要約にしては言い回しが冗長です。

一方で「pplx-70b-online」は記事の内容をかなり簡潔にまとめてくれました。

続いて、アニメ「葬送のフリーレン」の各話のサブタイトルを表にまとめるように指示してみました。「pplx-7b-online」での結果はこんな感じ。2023年11月24日に放送済みの第12話までは正しいサブタイトルを答えてくれましたが、2023年12月1日放送予定の第13話のサブタイトルは「同族嫌悪」が正しいのに「シュタルクの兄との思い出」という誤った答えが記されています。また、表形式で示す指示も無視されました。