Stability AIがオープンソースで商用利用も可能な大規模言語モデル「StableLM」をリリース

画像生成AI「Stable Diffusion」開発元のStability AIが、オープンソースの大規模言語モデル「StableLM」を2023年4月19日にリリースしました。α版はパラメーター数30億と70億のモデルが用意されており、将来的には150億から650億のモデルも用意される予定だとのこと。また、StableLMはCreative Commons By-SA-4.0ライセンスに従って商用利用が可能となっているのも特徴です。

Stability AI 言語モデル「StableLM Suite」の第一弾をリリース - （英語Stability AI
https://ja.stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models

GitHub - Stability-AI/StableLM: StableLM: Stability AI Language Models
https://github.com/stability-AI/stableLM/

StableLMは、言語モデル用データセットのThe Pileの約3倍にあたる1兆5000億個のトークンを含んだ新しいデータセットで学習されているとのこと。モデルがリリースされたStableLMのパラメーター数は30億と70億で、記事作成時点では150億・300億・650億のモデルを開発中、さらにパラメーター数1750億のモデルの開発も構想しているそうです。

また、Stability AIは、StableLMの「透明性の高さ」「アクセシビリティの高さ」「ユーザーに協力的であること」をコンセプトとしており、モデルの公開もCreative Commons By-SA-4.0ライセンスの下で行っており、商用利用も認めています。

StableLMは、AI向けレポジトリサービスのHugging Faceにデモ版が公開されており、以下からアクセスできます。

Stablelm Tuned Alpha Chat - a Hugging Face Space by stabilityai
https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat

実際に話しかけてみると、StableLMはほぼ英語しか話すことはできません。会話自体は一見すると成り立っていますが、少しちぐはぐな雰囲気はあります。

日本語を話させて、Stability AIについてたずねてみたところ、かなり突拍子もない会話が続き、突然プログラムコードを書いて説明を始めました。

StableLMの対応言語は記事作成時点で英語がメインとなっていますが、公式Twitterアカウントは「日本語版も頑張ります！」とツイートしているので、将来的には日本語にも正式対応することが期待できます。

なお、ソーシャルニュースサイトのHacker Newsでは、言語モデルのマルチタスク性能を測定するために作られたMMLU BenchmarkでStableLMのベンチマークを行った結果が投稿されています。それによると、StableLMのパラメーター数30億のモデルの平均精度は25.6％で、これはGoogleの開発するオープンソース言語モデル「Flan-T5」のパラメーター数8000万のモデルよりも低い結果。Flan-T5で同じパラメーター数30億のモデルだと平均精度が49.3％なので、StableLMの精度はかなり低いということになります。ただし、StableLMと異なり、Flan-T5は微調整済みのモデルであることから、ベンチマークスコアを単純に比較するべきではないという指摘もあります。