中国のBaiduが高性能AIモデル「ERNIE 5.5 Flash Base」を公開、今後の強化版を見据えた基盤モデル

中国の大手テクノロジー企業であるBaiduがAIモデル「ERNIE 5.5 Flash Base」をオープンモデルとして公開しました。

ERNIE 5.5 Flash Base · ERNIE
https://ernie.baidu.com/release/ernie-5-5-flash-base/

ERNIE 5.5 Flash Baseは総パラメーター数2800億・アクティブパラメーター数140億のMoEモデルです。33兆5000億トークの学習データを用いて事前学習されており、推論およびファインチューニングのために100万トークンのコンテキストウィンドウをサポートしています。

ERNIE 5.5 Flash Baseの構成図が以下。「基盤モデルが発展しているには、追加学習コストと実行コストを抑える必要がある」という思想に基づいて設計されており、「長文コンテキストの理解」といった後から追加するのが難しい機能を基盤モデルの段階でサポートしているのが特徴です。

「ERNIE 5.5 Flash Base」「DeepSeek-V4-Flash-Base」「Hy3-preview-Base」「MiMo-V2.5-Base」のベンチマーク結果一覧が以下。ERNIE 5.5 Flash Baseは同等規模の基盤モデルに対して優位なスコアを記録しました。

ERNIE 5.5 Flash Baseは以下のリンク先でオープンモデルとして公開されています。また、近日中に追加学習を施した「ERNIE 5.5 Flash」を公開することも計画されています。

baidu/ERNIE-5.5-Flash-Base · Hugging Face
https://huggingface.co/baidu/ERNIE-5.5-Flash-Base