XiaomiがOpenAIのo1-miniに匹敵する推論AI「MiMo」を発表、既存モデルの派生ではなくゼロからトレーニング

Xiaomiが、独自の推論モデル「MiMo」をオープンソースで公開しました。このモデルはOpenAIのクローズドソースのo1-miniモデルや、32Bパラメータを持つアリババのQwQ-Previewモデルなどに対抗するとのことです。

GitHub - XiaomiMiMo/MiMo: MiMo: Unlocking the Reasoning Potential of Language Model – From Pretraining to Posttraining
https://github.com/XiaomiMiMo/MiMo?tab=readme-ov-file

Xiaomi enters AI World with MiMo 7B: Monster that beats OpenAI - XiaomiTime
https://xiaomitime.com/xiaomi-enters-ai-world-with-mimo-7b-monster-that-beats-openai-42394/

Xiaomiによると、既存の大規模なモデルをベースに学習させたモデルはベースモデルの能力に依存することから、独自モデルの推論能力を最大限に引き出すべく、MiMoはゼロから学習させたとのこと。

基本モデル名は「MiMo-7B」で、強化学習(RL)を行ったMiMo-7B-RLなど派生モデルも開発されています。MiMo-7B-RLは数学の推論タスクとコードの推論タスクの両方で優れた性能を発揮し、DeepSeek-Distill-7B-RLや、Qwen2.5-32B-RL-Zeroといったモデルに匹敵する性能を見せたとのこと。

いくつかのベンチマークでは、OpenAI o1-miniやQwQ-32B-Previewを上回る成績を残しています。

モデルはHuggingFaceで公開されています。

XiaomiMiMo/MiMo-7B-Base · Hugging Face
https://huggingface.co/XiaomiMiMo/MiMo-7B-Base

XiaomiMiMo/MiMo-7B-RL-Zero · Hugging Face
https://huggingface.co/XiaomiMiMo/MiMo-7B-RL-Zero