2024年02月08日 16時00分ソフトウェア

Abacus AIがリリースしたオープンソースLLM「Smaug-72B」がHugging FaceのOpen LLM LeaderboardでトップとなりいくつかのベンチマークでGPT-3.5を上回ったことが明らかに

アリババのオープンソース言語モデル「Qwen-72B」を微調整して作られた「Smaug-72B」が2024年2月6日に登場し、同時にSmaug-72Bが「世界最高のオープンソース言語モデル」の座を獲得したことが明らかになりました。

abacusai/Smaug-72B-v0.1 · Hugging Face
https://huggingface.co/abacusai/Smaug-72B-v0.1

Smaug-72B - The Best Open Source Model In The World - Top of Hugging LLM LeaderBoard!!

Smaug72B from Abacus AI is available now on Hugging Face, is on top of the LLM leaderboard, and is the first model with an average score of 80!!

In other words, it is the world's best… pic.twitter.com/CGHawmLhqI
— Bindu Reddy (@bindureddy) February 6, 2024

Meet 'Smaug-72B': The new king of open-source AI | VentureBeat
https://venturebeat.com/ai/meet-smaug-72b-the-new-king-of-open-source-ai/

カリフォルニア州サンフランシスコに拠点を置くAI企業・Abacus AIが開発したSmaug-72Bは、ARC、HellaSwag、MMLU、TruthfulQA、Winogrande、GSM8Kなどの著名なベンチマークで高得点を獲得し、全オープンソース言語モデルの中で最も優れた平均点をたたき出しました。

オープンソースの大規模言語モデルのベンチマークスコアをまとめたページには以下からアクセス可能。

Open LLM Leaderboard - a Hugging Face Space by HuggingFaceH4
https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard

Smaug-72Bはいくつかのベンチマークで大規模言語モデル「GPT-3.5」や「Mistral Medium」を超える点数を出しており、とりわけ派生元の「Qwen-72B」とは平均点で7ポイント近くも差を付けています。

Smaug-72Bは人間レベルのパフォーマンスを示す平均90～100点にはまだ及ばないものの、オープンソースのモデルの中では初めて80点を超えたものであり、テクノロジー系メディアのVentureBeatは「長い間秘密のベールに包まれてきたビッグテックの能力に、オープンソース言語モデルが近いうちに追いつくかもしれないことを示唆している」と評価しました。

Abacus AIのビンドゥ・レディCEOは「Smaug-72Bは現在Hugging Faceで入手可能です。このモデルはLLMリーダーボードのトップにあり、平均スコア80に達した最初のモデルです。言い換えれば、世界最高のオープンソース基礎モデルということです」とコメント。さらに「私たちの次の目標は、これらのテクニックを研究論文として発表し、既存の最高のMistralモデルに適用することです」と付け加えました。