1兆パラメーター級モデルを1000トークン/秒超という爆速で動かす「MiMo-V2.5-Pro-UltraSpeed」が登場、基盤モデルはオープンソースで公開

Xiaomiが、「コーディングエージェントの生産性の限界を完全に解き放つ」とする1兆パラメーター級モデルを高速推論できるサービス「MiMo-V2.5-Pro-UltraSpeed」を発表しました。

Xiaomi MiMo, Explore and Love
https://mimo.xiaomi.com/blog/mimo-tilert-1000tps

Two Leaps to 1000 Tokens/s on a 1T-Parameter Model — TileRT
https://www.tilert.ai/blog/breaking-1000-tps.html

Xiaomi MiMo-V2.5-Pro-UltraSpeedは1兆パラメーター規模のモデル「MiMo-V2.5-Pro-FP4-DFlash」をベースとした製品です。特徴は、1兆パラメーターモデルにおいて初めて1000トークン/秒というデコード速度を突破した点です。

Xiaomiによると、モデルのサイズを大幅に削減し、ハードウェア帯域幅の利用率を最大化しながら、メモリアクセス時の余計な処理を減らすなどして高速化を図ったとのこと。Xiaomiは業界で一般的な「専用ハードウェアに依存する」という方針ではなく、汎用的なGPUで高速化するアプローチを採用し、標準的な8基のGPUを搭載した汎用ノード1台のみで1000トークン/秒以上の出力を実現したそうです。

1兆パラメーター規模において1000トークン/秒を突破することについて、Xiaomiは「AIアプリケーションそのものを根本から変革します」と説明しています。

例えば、これまで開発者が難しい問題に直面した際、1つの答えを待ち、それが正しいことを祈るしかありませんでしたが、MiMo-V2.5-Pro-UltraSpeedは同じ実時間内で数十の推論を並列実行し、バックグラウンドで自動的に検証と自己修正を行えます。また、これまでAIにコードを書かせる際、開発者は推論遅延によって画面の前で待たされていましたが、1000トークン/秒だとその遅延もありません。

既存のモデル「MiMo-V2.5-Pro」よりもはるかに高速で処理を終えるというデモ映像も公開されています。


この速度は投資や医療といった素早い処理が必要な業界で大いに役立つと説明されています。

一般の人も利用可能な「MiMo-V2.5-Pro-UltraSpeed API」がリリースされており、期間限定の特別価格が適用されています。価格はMiMo-V2.5-Proの3倍ですが、生成速度は約10倍とのこと。

ただし、高速推論リソースには限りがあるため、MiMo-V2.5-Pro-UltraSpeed APIは期間限定の申請制で提供されるとのことです。試用枠には限りがあり、申請しても承認は保証されず、業務ニーズを持つ企業およびプロフェッショナル開発者が優先されます。また、各アカウントは1日最大10回までキューへ参加可能、各セッションは最大30分、5分以上アイドル状態のセッションは自動的に解放されるといった制限があります。

なお、MiMo-V2.5-Pro-UltraSpeedの基盤となるモデル「MiMo-V2.5-Pro-FP4-DFlash」はオープンソースで公開されています。

XiaomiMiMo/MiMo-V2.5-Pro-FP4-DFlash · Hugging Face
https://huggingface.co/XiaomiMiMo/MiMo-V2.5-Pro-FP4-DFlash