NVIDIAとMistral AIがAIモデル「Mistral NeMo」を発表、新型トークナイザ「Tekken」を採用し日本語を含む多言語性能が強み
![](https://i.gzn.jp/img/2024/07/19/nvidia-mistral-nemo-ai/00.png)
AI開発企業のMistral AIがNVIDIAと協力してAIモデル「Mistral NeMo」を開発したことを発表しました。Mistral NeMoは各種ベンチマークでGemma 2 9BやLlama 3 8Bを上回る性能を示しており、NVIDIAのAIプラットフォームで利用できるほか、モデルデータがオープンソースで公開されています。
Mistral NeMo | Mistral AI | Frontier AI in your hands
https://mistral.ai/news/mistral-nemo/
Mistral AI and NVIDIA Unveil Mistral NeMo 12B, a Cutting-Edge Enterprise AI Model | NVIDIA Blog
https://blogs.nvidia.com/blog/mistral-nvidia-ai-model/?ncid=so-twit-243298&linkId=100000274370636
Mistral NeMoはパラメータ数12Bの比較的小型なAIモデルです。Mistral NeMoとGemma 2 9BとLlama 3 8Bの性能を比較した表が以下。Mistral NeMoのコンテキストウィンドウは12万8000で、他の2モデルと比べて大きなプロンプトを処理可能。さらに、ほとんどのベンチマークでGemma 2 9BとLlama 3 8Bを上回るスコアを記録しています。加えて、Mistral NeMoは量子化を考慮して設計されており、FP8でもパフォーマンスの低下を抑えて推論処理を実行可能とのこと。
![](https://i.gzn.jp/img/2024/07/19/nvidia-mistral-nemo-ai/01_m.png)
Mistral NeMoは多言語対応モデルとして開発されており、特に日本語、英語、中国語、韓国語、アラビア語、イタリア語、スペイン語、ドイツ語、ヒンディー語、フランス語、ポルトガル語で性能を発揮します。多言語性能を測定するベンチマークでは、ほとんどのテストでLlama 3 8Bを上回るスコアを記録しています。
![](https://i.gzn.jp/img/2024/07/19/nvidia-mistral-nemo-ai/02_m.png)
また、Mistral NeMoは新開発のトークナイザ「Tekken」を採用しており、トークン化の効率が向上しています。日本語では従来のトークナイザと比べて1.56倍の効率でトークン化が可能で、アラビア語では3.02倍、マレーシア語では3.90倍に効率が向上しています。
![](https://i.gzn.jp/img/2024/07/19/nvidia-mistral-nemo-ai/03_m.png)
Mistral NeMoはNVIDIAのAIプラットフォームDGX Cloudで学習処理を実行しており、学習の際にはAI開発フレームワーク「NVIDIA NeMo」に含まれるGPU最適化技術「Megatron-LM」を活用したとのこと。
Mistral NeMoはすでにNVIDIA NIMで使えるサービスとしてパッケージ化されています。実際にNVIDIA NIM上で「istral-nemo-12b-instruct」を使ってみた結果、日本語で高精度な回答を返してくれました。
![](https://i.gzn.jp/img/2024/07/19/nvidia-mistral-nemo-ai/04_m.png)
なお、Mistral NeMoはベースモデルの「Mistral-Nemo-Base-2407」と微調整版の「Mistral-Nemo-Instruct-2407」がHugging Faceで公開されています。ライセンスはApache License 2.0で、商用アプリにも使用可能です。
mistralai/Mistral-Nemo-Base-2407 · Hugging Face
https://huggingface.co/mistralai/Mistral-Nemo-Base-2407
mistralai/Mistral-Nemo-Instruct-2407 · Hugging Face
https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407
・関連記事
NVIDIAがオープンモデル「Nemotron-4 340B」を発表、LLMトレーニング用合成データの生成に革命を起こすか - GIGAZINE
Mistral AIがコード生成特化型AI「Codestral Mamba」をオープンソースライセンスでリリース - GIGAZINE
Mistral AIが初のコーディング用生成AIモデル「Codestral」をリリース、80以上のプログラミング言語でトレーニング済み - GIGAZINE
Mistral AIが突如として新しい大規模言語モデル「8x22B MOE」を発表、コンテキスト長65kでパラメーターサイズは最大1760億か - GIGAZINE
MicrosoftがAI開発企業「Mistral AI」との提携を発表、Mistral AIがAzureの計算資源を利用可能になりAzureユーザーはOpenAIのモデルに加えてMistral AIのモデルも利用可能に - GIGAZINE
・関連コンテンツ