チャットAIをブラウザのWebGPUだけで実行でき日本語も使用できる「Web LLM」、実際に試してみる方法はこんな感じ

ChatGPTやBardなど、大規模言語モデルをベースに人間と会話できる対話型AIが登場していますが、これらの対話型AIを動作させるには膨大な演算リソースが求められ、通常はAIが動作するサーバーにアクセスする形で対話を可能にしています。Metaが開発した大規模言語モデルのLLaMAをファインチューニングしたVicuna-7Bをベースにした対話型AI「Web LLM」は、ブラウザ上でのGPU演算を可能にするWebGPUを使うことで、サーバーにアクセスすることなくブラウザ上で対話型AIにアクセスできるのが特徴。日本語にも対応しているとのことなので、実際にWeb LLMと日本語で対話してみました。

GitHub - mlc-ai/web-llm: Bringing large-language models and chat to web browsers. Everything runs inside the browser with no server support.
https://github.com/mlc-ai/web-llm

Web LLMを体験するには「NVIDIA製GPUを搭載したPC」で「WebGPUに対応したブラウザ」を使う必要があります。ただし、WebGPUはChromeに反映したばかりで、記事作成時点ではChromeのバージョン113ベータ版以降、あるいはデベロッパー向けビルドであるChrome Canaryからアクセスする必要があります。

今回はChrome Canaryからアクセスします。Chrome Canaryは以下のページで配布されています。

Chrome Canary のデベロッパー向け機能 - Google Chrome
https://www.google.com/intl/ja/chrome/canary/

配布ページの「Chrome Canaryをダウンロード」をクリックして、EXE形式のインストーラー(ファイルサイズ1.30MB)をダウンロードします。

ダウンロードしたインストーラーを起動すると、自動でインストールが行われます。

インストールが終了すると、Chrome Canaryが起動します。

Web LLMのデモは以下からアクセスできます。

WebLLM | Home
https://mlc.ai/web-llm/

上記ページの下部にある「Chat Demo」がWeb LLMのデモです。まずは何も入力せずに「Send」をクリック。

すると以下のようなメッセージが表示され、モデルのダウンロードが始まります。

「[System Initialize]All initialization finished」と表示されたら準備完了。入力欄に「こんにちは。日本語を話すことはできますか？」と入力して「Send」をクリックし、いきなり日本語で話しかけてみました。

「はい、日本語の会話ができます。どうぞお聞きください」という頼もしい返答。

まずはGIGAZINEがどういうサイトなのか尋ねてみました。ウェブサイトということは認識してくれているようですが、「日本のオンライン上の初等コメントシーンです」という意味不明な言い回しが気になります。

次にカレーの作り方を聞いてみたところ、明らかに回答の日本語が崩壊しており、ところどころにドイツ語やロシア語のような単語も見られます。

しかも、崩壊した日本語で回答を続けた結果、「カレーを」というところでストップしてしまいました。

今度は生命、宇宙、そして万物についての究極の疑問の答えについて尋ねてみたところ、やはり怪しい日本語で回答が返ってきました。どうやら「自分はAIだからそういう疑問には答えられない」と、回答を拒否している模様。

今度は競技プログラミングの問題を入力し、コード作成ができるかどうかを確認してみました。しかし、こちらが入力した問題文の条件を理解できなかったようで、回答冒頭の確認内容が問題とは全く異なり、コードも全然違うものが生成されました。

その後のコード内容の解説も、まったく要領を得ない文章に。

最後に桃太郎の内容を聞いてみると、童話の内容がまったく違うものになっているだけではなく、やはり日本語の文法もかなり不安定な答えが返ってきました。

Web LLMは確かにブラウザ上でAIと会話できるようになっていますが、やはり大規模言語モデルの精度はChatGPTのGPT-3.5よりも甘い印象で、日本語だとちんぷんかんぷんな会話を返してきました。それでもWebGPUによる処理でも動作はしたので、あとはモデルの進化に期待したいところです。