2023年07月19日 10時50分ソフトウェア

Metaが商用可能な大規模言語モデル「Llama 2」を無料公開、MicrosoftやQualcommと協力してスマホやPCへの最適化も

FacebookやInstagramを運営するMetaはAIの研究開発にも力を入れています。新たに、Metaは大規模言語モデル「LLaMA(Large Language Model Meta AI)」の次世代モデル「Llama 2」を発表しました。Llama 2は無料公開されており研究目的以外に商用利用も可能な他、MicrosoftやQualcommと協力してWindowsやスマートフォンへの最適化を目指すことも発表されています。

Llama 2 - Meta AI
https://ai.meta.com/llama/

Meta and Microsoft Introduce the Next Generation of Llama | Meta
https://about.fb.com/news/2023/07/llama-2/

マイクロソフトとMeta、AzureとWindows上のLlama 2でAIパートナーシップを拡大 - 公式マイクロソフトブログ
https://blogs.microsoft.com/ja/blog/2023/07/18/microsoft-and-meta-expand-their-ai-partnership-with-llama-2-on-azure-and-windows/

Qualcomm Works with Meta to Enable On-device AI Applications Using Llama 2 | Qualcomm
https://www.qualcomm.com/news/releases/2023/07/qualcomm-works-with-meta-to-enable-on-device-ai-applications-usi

Llama 2は2兆個ものトークンでトレーニングされており、前世代のLlama(Llama 1)と比べて2倍のコンテキスト長を扱えるとのこと。また、Llama 2はパラメーター数ごとに「7B(70億)」「13B(130億)」「70B(700億)」という3つのモデルサイズが用意されています。

Llama 2と「MPT」や「Falcon」といったオープンソース言語モデルのベンチマーク結果を並べた表が以下。Llama 2は同等モデルサイズにおける他言語モデルのスコアを大きく上回っている他、モデルサイズ70B(700億)のLlama 2はモデルサイズ65B(650億)のLlama 1を上回るスコアを記録しています。

ベンチマーク	MPT(7B)	Falcon(7B)	Llama 2(7B)	Llama 2(13B)	MPT(30B)	Falcon(40B)	Llama 1(65B)	Llama 2(70B)
MMLU	26.8	26.2	45.3	54.8	46.9	55.4	63.4	68.9
TriviaQA	59.6	56.8	68.9	77.2	71.3	78.6	84.5	85.0
Natural Questions	17.8	18.1	22.7	28.0	23.0	29.5	31.0	33.0
GSM8K	6.8	6.8	14.6	28.7	15.2	19.6	50.9	56.8
HumanEval	18.3	N/A	12.8	18.3	25.0	N/A	23.7	29.9
AGIEval	23.5	21.2	29.3	39.1	33.8	37.0	47.6	54.2
BoolQ	75.0	67.5	77.4	81.7	79.0	83.1	85.3	85.0
HellaSwag	76.4	74.1	77.2	80.7	79.9	83.6	84.2	85.3
OpenBookQA	51.4	51.6	58.6	57.0	52.0	56.6	60.2	60.2
QuAC	37.7	18.8	39.7	44.8	41.1	43.3	39.8	49.3
Winogrande	68.3	66.3	69.2	72.8	71.0	76.9	77.0	80.2

さらに、MetaはMicrosoftやAmazon、IBM、NVIDIA、Qualcommなどのテクノロジー企業と協力してLlama 2の開発を進めることも明かしています。すでにMicrosoftはAure上でLlama 2の微調整やデプロイを可能にすることや、Llama 2をWindows上でローカル動作できるように最適化することを発表しています。さらに、Qualcommも2024年までにSnapdragonを搭載したデバイス上でLlama 2を動作可能にすることを発表しています。

Llama 2のモデルデータは無料で公開されており、以下のページで氏名や所属を入力することでダウンロードをリクエストできます。また、Llama 2は研究目的だけでなく商用利用も可能とされています。

Llama access request form - Meta AI
https://ai.meta.com/resources/models-and-libraries/llama-downloads/