日本語言語モデル「Japanese StableLM Alpha」をStability AIがリリース

画像生成AI「Stable Diffusion」やその高性能版「SDXL」などで知られるAI開発企業・Stability AIが、日本語向けの汎用言語モデル「Japanese StableLM Base Alpha 7B」と、指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」を発表しました。

日本語言語モデル「Japanese StableLM Alpha」をリリースしました — Stability AI Japan
https://ja.stability.ai/blog/japanese-stablelm-alpha

「Japanese StableLM」は2023年4月に発表されたオープンソース大規模言語モデル「StableLM」の日本語版にあたります。

Stability AIがオープンソースで商用利用も可能な大規模言語モデル「StableLM」をリリース - GIGAZINE

汎用言語モデルである「Japanese StableLM Base Alpha 7B」は、ウェブを中心とした大規模データを用いてテキスト生成を学習させた、70億パラメータのモデル。学習データは主に日本語と英語で、ほかにソースコードが約2％含まれていて、学習は7500億トークンで行われたとのこと。

指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」は、「Japanese StableLM Base Alpha 7B」に追加学習を行って、ユーザーの指示に応答できるようにしたものです。

応答例は以下のような感じ。

いずれもHugging Face Hubで、Hugging Face Transformersに準拠する形式で公開されています。

stabilityai/japanese-stablelm-base-alpha-7b · Hugging Face
https://huggingface.co/stabilityai/japanese-stablelm-base-alpha-7b

stabilityai/japanese-stablelm-instruct-alpha-7b · Hugging Face
https://huggingface.co/stabilityai/japanese-stablelm-instruct-alpha-7b

「Japanese StableLM Base Alpha 7B」は商用利用可能なApache License 2.0で公開されていますが、「Japanese StableLM Instruct Alpha 7B」は研究目的のモデルなので研究目的での利用に限定しての公開となっています。

Stability AI Japan では、今後もこのような日本向けの生成基盤モデルを構築し公開していく予定だとのことです。

なお、2023年8月10日18時から、公式Disctordで開発者とのトークイベントが開催されることになっています。