オープンソースで商用利用可能な大規模言語モデル「Llama 2」がReplicateに登場したのでAPI経由で使ってみた

AIモデルを誰でも簡単にデプロイできるサイト「Replicate」にて、2023年7月18日に公開されたばかりの高性能オープンソースAIモデル「Llama 2」が登場したので早速使ってみました。

Accessing Llama 2 from the command-line with the llm-replicate plugin
https://simonwillison.net/2023/Jul/18/accessing-llama-2/

Llama 2のバリエーションの情報や、他のモデルとの性能比較については下記の記事で掲載しています。

Metaが商用可能な大規模言語モデル「Llama 2」を無料公開、MicrosoftやQualcommと協力してスマホやPCへの最適化も - GIGAZINE

また、下記の通りLlama 2をブラウザから試せるツールも早速登場しています。

Metaの大規模言語モデル「Llama 2」を無料で誰でもブラウザからお試しできる「LLaMA2 Chatbot」 - GIGAZINE

今回はコマンドラインからReplicateにアクセスする時に「LLM」というツールを利用します。このLLMをインストールするのにPythonに付いている「pip」というパッケージマネージャーか、macOSでよく利用されているパッケージマネージャーの「Homebrew」が必要です。今回はpipを利用するため、まずPython公式サイトのダウンロードページへ行き、「Download Python 3.XX.X」というボタンをクリックします。

インストーラーがダウンロードされるので、ダブルクリックして実行。

「Add python.exe to PATH」にチェックを入れて「Install Now」をクリックします。

インストールが始まるのでしばらく待機。完了したら「Close」をクリックしてインストーラーを終了します。

スタートメニューを開き、「cmd」と検索してコマンドプロンプトをクリック。

下記のコードで「LLM」ツールをインストールします。

pip install llm

さらに下記のコードを入力し、LLMからReplicateにアクセスするためのアドオンをインストール。

llm install llm-replicate

続いて、ReplicateにアクセスするためのAPIトークンをもらうためにReplicateのAPIトークンのページにアクセスします。GitHubでの認証を求められるので「Sign in with GitHub」をクリック。

権限を確認して「Authorize replicate」をクリックします。

表示されるAPIトークンをコピー。

「llm keys set replicate」とコマンドを入力するとキーの入力を要求されるので、先ほどコピーしたAPIトークンをペーストしてエンターキーを押します。

Llama 2の13Bモデルを「llama2」という名前で登録。これで事前の準備は完了です。

llm replicate add a16z-infra/llama13b-v2-chat --chat --alias llama2

llama2に質問するときは下記の形式で投げればOK。

llm -m llama2 "ここに質問文を挿入"

例えば、「ペリカンをペットとして飼いたいけどいい名前が思いつかない……」という場合を想定して「Ten great names for a pet pelican」と入力してみました。「Peli」や「Pelty」などチャーミングな名前を10個考えてくれました。

「日本語も話せる」とLlama 2は話しています。

しかし、日本語で質問しても回答の途中からは英語になってしまう現象が多発してしまいました。テンションが高くなると母国語が出てしまう……ということなのかも。

なお、Replicateはある程度の時間までは無料で使えますが、一定時間を超えると推論にかかった時間1秒あたり0.0023ドル(約0.32円)の費用がかかります。事前にクレジットカードを登録する必要はなく、推論できなくなってから登録すればOKとのこと。記事作成時点では「どの程度まで無料で利用できるのか」については記載されていませんでした。

「それぞれの推論に何秒かかったのか」についてはReplicateのダッシュボードを開くと確認できます。