完全にオープンで再現可能な大規模言語モデル「OpenCoder」がリリースされる

OpenCoderは15億パラメーターのモデルと80億パラメーターのモデルがリリースされており、80億パラメーターのモデルは「完全にオープンなモデル」のカテゴリでベースモデルとしては同規模のモデル内で過去最高のスコアを獲得しました。

OpenCoderは90％のコードデータと10％のコード関連ウェブデータの合計750億トークンを用い、のべ2兆5000億トークン分の事前トレーニングが行われたとのこと。その後、450万個の高品質な例を用いて教師ありファインチューニングが施されました。

記事作成時点で、モデルの作成方法が詳しく記載された論文、トレーニング後のモデル本体、教師ありファインチューニングに用いられた450万個の高品質な例が公開されています。その他のデータについても公開のための作業が進行中とのこと。

実際にOpenCoderを試した人によるコメントによると、実際のところそれほどOpenCoderの品質は高くないようで、GPT-4には遠く及ばず、アリババが開発したQwen2.5 72BモデルやMetaのLlama 3.1 70Bモデルなどにも完全に敗北しているほか、幻覚の発生率も高めとのこと。

他のモデルとは異なり、OpenCoderはモデルの開発に必要な情報全てを公開する取り組みを行っていることから「モデルのパフォーマンスを問わず、全ての工程が公開されている事は全員の利益になることだ」と公開について称賛するコメントも行われています。