画像生成AI「Stable Diffusion」開発元がチャットAI「StableVicuna」をリリース

Stable Diffusionの開発元であるStability AIが、オープンソースのチャットボットAI「StableVicuna」のリリースを発表しました。StableVicunaは、Metaが開発した大規模言語モデルのLLaMA 13BをベースとするチャットボットAI「Vicuna-13B」をさらに調整して訓練したチャットボットAIです。

Stability AI releases StableVicuna, the AI World’s First Open Source RLHF LLM Chatbot — Stability AI
https://stability.ai/blog/stablevicuna-open-source-rlhf-chatbot

StableVicunaは、「プロンプトのファインチューニング」と「人間のフィードバックによる強化学習(RLHF)」という2つのアプローチが取られています。従来だと命令のファインチューニングは複雑な作業になるため、RLHFは行われないことがほとんどでした。しかし、近年はチャットボット向けのRLHF用データセットがオープンソースで提供されるようになったことから、StableVicunaを実現できたとStablity AIは述べています。

StableVicunaは、人間が生成して人間が注釈を付けた会話データセットのOpenAssistant Conversations Dataset(OASST1)、GPT-3.5ターボで生成された43万件以上のプロンプトとレスポンスのデータセットであるGPT4All Prompt Generations、OpenAIのtext-davinci-003エンジンによって生成されたAlpacaによってファインチューニングを行っています。さらに、trlxを用いてOASST1・Anthropic HH-RLHF・Stanford Human Preferencesで強化学習とRLHFトレーニングを行っているとのこと。

StableVicunaができることとして、Stability AIは「基本的な数学を扱える」「コードを書くことができる」「文法を修正してもらう」という3つを挙げています。記事作成時点では、StableVicunaとのチャットインターフェースは公開されておらず、近日公開する予定だとStability AIは述べています。

なお、StableVicunaは、AI向けリポジトリのHuggingFaceにホストされていますが、公開されているのはあくまでも重さ差分のみであり、実際にローカル環境でStableVicunaを体験するにはLLaMAのオリジナルモデルにアクセスできる必要があるそうです。

CarperAI/stable-vicuna-13b-delta · Hugging Face
https://huggingface.co/CarperAI/stable-vicuna-13b-delta