Microsoftが軽量なのにGPT-4oを圧倒的に上回る数学性能を発揮するAIモデル「Phi-4」をリリース

Microsoftが言語モデル「Phi-4」を2024年12月13日にリリースしました。Phi-4のパラメーター数は140億で主要な大規模言語モデルと比べると小規模ですが、数学性能では最上位クラスの性能を発揮します。

Introducing Phi-4: Microsoft’s Newest Small Language Model Specializing in Complex Reasoning | Microsoft Community Hub
https://techcommunity.microsoft.com/blog/aiplatformblog/introducing-phi-4-microsoft%E2%80%99s-newest-small-language-model-specializing-in-comple/4357090

Microsoftは小規模かつ高性能な言語モデル「Phi」シリーズの開発を進めており、2023年12月に「Phi-2」、2024年4月に「Phi-3」をリリースしていました。今回リリースされたPhi-4は従来のPhiシリーズに備わっていた高度な言語処理性能に加えて、数学などの複雑な推論を必要とするタスクにも対応しています。

以下のグラフは横軸がパラメーター数を示し、縦軸がベンチマークテスト「MMLU」のスコアを示しています。Phi-4はパラメーターサイズが同規模の言語モデルと比べて高いスコアを記録し、「Llama-3.3-70B-Instruct」や「Qwen2.5-72B-Instruct」といったより多くのパラメーターを持つ言語モデルに匹敵する性能を示しています。

以下のグラフは、各種AIモデルにアメリカ数学コンペティション(AMC)の問題を解かせた際の平均点を比べたものです。Phi-4はGPT-4oやGemini Pro 1.5といった重量級モデルよりも高い点数を記録しています。

Phi-4に数学の問題を解かせる例はこんな感じ。解き方の解説を交えながら正しい解答を導き出せています。

Phi-4はすでにAzure AI Foundryで利用可能です。また、来週中にHugging Faceでも公開される予定です。