DeepSeekと清華大学の研究者がLLMの推論能力を強化する新しい手法を発表

「DeepSeek-R1」などを開発する中国のAIスタートアップ、DeepSeekの研究者が、一般的な大規模言語モデル(LLM)の推論能力を向上させる新しいアプローチを開発し、査読前の論文をプレプリントサーバーのarXivに公開しました。

[2504.02495] Inference-Time Scaling for Generalist Reward Modeling
https://arxiv.org/abs/2504.02495

DeepSeek unveils new AI reasoning method as anticipation for its next-gen model rises | South China Morning Post
https://www.scmp.com/tech/tech-trends/article/3305259/deepseek-unveils-new-ai-reasoning-method-anticipation-its-next-gen-model-rises

論文によると、DeepSeekは清華大学の研究者と共同で、生成的報酬モデリング(Generative Reward Models：GRM)と、自己原理批判チューニング(Self-Principled Critique Tuning：SPCT)と呼ばれる手法を組み合わせた技術を開発したとのこと。SPCTはDeepSeekの研究者らがGRMをベースに開発した新たなアプローチです。

この技術を使い、明確な質の高い「報酬」を設定することで、さまざまな入力に柔軟に対応できるとのことです。これに伴い推論時間が大幅に短縮され、より良い結果をより速く提供するようになると研究チームは述べています。

新しい技術を組み込んだ「DeepSeek-GRM」というモデルをテストしたところ、いくつかのベンチマークで高いスコアを記録したとのことです。

DeepSeekはGRMモデルをオープンソースにする予定とのことですが、その時期は明らかにしていません。

DeepSeekは2025年1月に推論モデルの「DeepSeek-R1」を発表して大きな注目を集めました。この次世代モデルとなる「DeepSeek-R2」は、2025年5月までに登場する可能性があるとロイターが報じています。

DeepSeekがさらに強化されたAIモデル「DeepSeek-R2」を2025年5月までに前倒しで発表か、さらにAPI利用料を最大75％割引きと発表 - GIGAZINE