GPT-3.5に匹敵するチャットAIを構築可能なモデル「Alpaca 7B」をスタンフォード大学が公開、オープンソースで安価に再現可能

Metaの大規模言語モデル「LLaMA」の7Bモデルに微調整を行った、オープンソースでよりよい命令追従性を実現した大規模言語モデル「Alpaca 7B」をスタンフォード大学の研究チームが公開しました。Alpacaを用いると、GPT-3.5に似た動作を、はるかに小さな環境で簡単・安価に再現することができます。

Alpaca: A Strong Open-Source Instruction-Following Model - Stanford CRFM
https://crfm.stanford.edu/2023/03/13/alpaca.html

Stanford Alpaca, and the acceleration of on-device large language model development
https://simonwillison.net/2023/Mar/13/alpaca/

スタンフォード大学によると、GPT-3.5(text-davinci-003)やChat GPT、Claude、Bing Chatなど、言語モデルがどんどんと強力になっていく中で、まだまだ多くの欠陥が残されているとのこと。この問題解決への最大限の進歩には学界の関与が必要だったのですが、text-davinci-003などのクローズドモデルに匹敵する機能を備えたオープンソースモデルがないことから、学界で命令追従モデルの研究を行うことは困難だったそうです。

そこで、スタンフォード大学は公開されているデータセットのみで学習を行ったMetaの大規模言語モデル「LLaMA」の7Bモデルをベースに微調整を行い、「Alpaca」という言語モデルを開発・公開しました。微調整にはメモリが80GBのNVIDIA A100を8台用いて3時間かかったとのこと。これは、多くのクラウドコンピューティングプロバイダーで100ドル(約1万3400円)未満で利用可能な内容です。

Alpacaはtext-davinci-003と似たような振る舞いを多く見せるものの、驚くほど小さく簡単、安価に再現が可能という特徴があります。

実際に、以下のサイトでウェブデモが公開されていて、試すことが可能です。

Alpaca
https://alpaca-ai-custom5.ngrok.io/

なお、Alpacaの利用は学術目的に限られ、商用利用は禁止されています。これは、ベースになったLLaMAが非商用ライセンスであること、命令データはOpenAIと競合するモデルの開発を禁止するtext-davinci-003をベースにしていること、安全対策が十分ではなく一般普及させることができないこと、という3つの理由によるものだそうです。