OpenAI o1相当の推論モデル「DeepSeek R1」を中国AI企業が商用利用や改変が可能なMITライセンスでリリース

中国のAI企業であるDeepSeekが、第1世代の推論モデルである「DeepSeek-R1-Zero」と「DeepSeek-R1」をMITライセンスの下でオープンソースとして公開しました。DeepSeekは特定のAIベンチマークで、OpenAI o1と同等の性能を発揮すると主張しています。

DeepSeek-R1/DeepSeek_R1.pdf at main · deepseek-ai/DeepSeek-R1 · GitHub
https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf

deepseek-ai/DeepSeek-R1 · Hugging Face
https://huggingface.co/deepseek-ai/DeepSeek-R1

DeepSeek-R1 Zeroとその後継モデルであるDeepSeek-R1は、Mixture of Experts(MoE)アーキテクチャを採用したDeepSeek-V3-Baseに基づいてトレーニングされており、総パラメータ数は6710億、コンテキスト長は128Kとなっています。

中国のAI企業・DeepSeekがGPT-4oに匹敵するAIモデル「DeepSeek-V3」をリリース、パラメーター数は脅威の6710億個 - GIGAZINE

DeepSeek-R1 Zeroは、従来のLLM開発で一般的な教師ありファインチューニング(SFT)ではなく、強化学習を使用してトレーニングされました。この手法により、複雑な問題を解決するための思考の連載(Chain-of-Thought)を自発的に探索し、自己検証や振り返り、長い思考連鎖の生成を可能にするとのこと。

しかし、このアプローチには「文章の無限ループが発生しやすい」「出力テキストの可読性が低い」「複数の言語が混ざってしまいやすい」という問題があったとDeepSeekは報告しています。この課題に対処するため、後継のDeepSeek-R1では、2段階のSFTと2段階の強化学習を組み合わせています。SFT段階ではコールドスタートデータと呼ばれる初期データを使用し、その後のRL段階では改良された推論パターンの発見と人間の選好への調整を行っているそうです。

DeepSeekはDeepSeek-R1のベンチマーク結果を、Claude-3.5-Sonnet-102、GPT-4o、DeepSeek V3、OpenAI o1-mini、OpenAI o1-1217と比較しています。DeepSeek-R1は英語タスクにおいて、MMLUでは90.8％、MMLU-Reduxでは92.9％、MMLU-Proでは84.0％を達成し、いずれもGPT-4やClaude 3.5 Sonnet以上の性能を示しています。

また、数学分野では特に優れた性能を発揮しており、MATH-500で97.3％、AIME 2024で79.8％を達成し、同分野で最高水準の結果を出したとDeepSeekはアピールしました。コーディング能力に関しては、DeepSeek-R1はCodeforcesのパーセンタイルで96.3％、レーティングで2029を記録し、OpenAI-o1-1217に近い性能を示しています。さらに、LiveCodeBenchでは65.9％を達成しました。加えて、DeepSeek-R1は中国語タスクでも高い性能を示しており、CLUEWSCで92.8％、C-Evalで91.8％のスコアを達成しています。

DeepSeekは、DeepSeek-R1が全体的にOpenAI-o1-1217と同等かそれ以上の性能を持っていることが多くのベンチマークで示されたと主張しています。特に数学とコーディング分野での性能が顕著で、GPT-4やClaude 3.5 Sonnetと比較しても、多くの分野で優位性を示している点を強調しました。

ただし、DeepSeek-R1は中国で開発されたAIシステムです。IT系ニュースサイトのTechCrunchは「DeepSeek-R1は『回答が中核的な社会主義的価値観を体現していること』を確認するために、中国のインターネット規制当局によるベンチマークの対象となっています。例えば、R1は天安門事件や台湾の自治権に関する質問には答えません」と、中国モデルであることの欠点を挙げています。

DeepSeek-R1とDeepSeek-R1 Zero、そしてDeepSeek-R1を教師としてLlamaとQwenに蒸留したモデルは、MITライセンスの下で提供されています。つまり、著作権表示および本許諾表示さえすれば、DeepSeek-R1の無償での商用利用や改変、他のLLMのトレーニングのための蒸留などが許可されています。また、公開されたモデルはDeepSeekの公式ウェブサイトで利用可能であるほか、platform.deepseek.comではOpenAI互換のAPIも提供されています。