サイバーエージェントが「DeepSeek-R1」の派生モデルをベースに日本語で追加学習したモデルを公開

日本の大手IT企業であるサイバーエージェントが2025年1月27日、AI開発企業のDeepSeekがリリースしたオープンソースの推論モデル「DeepSeek R1」の蒸留モデルをベースに、日本語データで追加学習を行った大規模言語モデルを公開しました。

cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese · Hugging Face
https://huggingface.co/cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese

cyberagent/DeepSeek-R1-Distill-Qwen-14B-Japanese · Hugging Face
https://huggingface.co/cyberagent/DeepSeek-R1-Distill-Qwen-14B-Japanese

中国のAI開発企業であるDeepSeekは、2024年11月に推論に特化した大規模言語モデル「DeepSeek-R1-Lite-Preview」を発表して大きな話題を集めました。その後、12月にOpenAIのGPT-4oに匹敵するという大規模言語モデル「DeepSeek-V3」を発表し、2025年1月にはDeepSeek-V3に基づいてトレーニングされた推論モデル「DeepSeek-R1-Zero」と「DeepSeek-R1」をオープンソースでリリースしました。

矢継ぎ早に大きな発表をしたことでDeepSeekはテクノロジー業界で注目の的となっており、DeepSeek製のアプリ「DeepSeek - AI」はアメリカのApp Storeの無料アプリランキングで1位を獲得。記事作成時点でも、トップの座を維持しています。

中国のAI開発企業「DeepSeek」が急速に台頭してテクノロジー業界で話題に、App Storeの無料アプリランキングでも1位を獲得 - GIGAZINE

そして今回、サイバーエージェントは「DeepSeek-R1-Distill-Qwen-14B/32B」をベースに、日本語データで追加学習を行った大規模言語モデル「DeepSeek-R1-Distill-Qwen-32B-Japanese」と「DeepSeek-R1-Distill-Qwen-14B-Japanese 」をAI開発プラットフォームのHugging Faceで公開しました。

以下のグラフは、元となった「DeepSeek-R1-Distill-Qwen-32B(水色)」のパフォーマンスを「DeepSeek-R1(青色のしま模様)」「OpenAI-o1-1217(濃い灰色)」「OpenAI-o1-mini(薄い灰色)」「DeepSeek-V3(薄い水色)」と比較したもの。「DeepSeek-R1-Distill-Qwen-32B」は複数のベンチマークで「OpenAI-o1-mini」を上回る性能を発揮していることがわかります。

「DeepSeek-R1」は思考の連鎖による推論を実行する推論モデルであり、ユーザーからの入力に応答するためにさまざまな連鎖や「思考」の流れを示し、「なぜその回答に至ったのか」の思考プロセスを提示します。

実際に「DeepSeek-R1-Distill-Qwen-32B-Japanese」を使用したユーザーは、思考プロセスが日本語になっていると報告しています。

なお、「DeepSeek-R1」は中国政府による検閲を順守しており、「天安門広場」「台湾」「ウイグル族の扱い」といったデリケートな話題に対し、はっきりした回答をしないことが報告されています。

DeepSeekのAIモデル「DeepSeek-R1」は天安門広場や台湾、ウイグル族の扱いなどのデリケートな話題に対して中国政府の制限を順守している - GIGAZINE