ソフトウェア

NVIDIAとMistral AIがAIモデル「Mistral NeMo」を発表、新型トークナイザ「Tekken」を採用し日本語を含む多言語性能が強み


AI開発企業のMistral AIがNVIDIAと協力してAIモデル「Mistral NeMo」を開発したことを発表しました。Mistral NeMoは各種ベンチマークでGemma 2 9BやLlama 3 8Bを上回る性能を示しており、NVIDIAのAIプラットフォームで利用できるほか、モデルデータがオープンソースで公開されています。

Mistral NeMo | Mistral AI | Frontier AI in your hands
https://mistral.ai/news/mistral-nemo/

Mistral AI and NVIDIA Unveil Mistral NeMo 12B, a Cutting-Edge Enterprise AI Model | NVIDIA Blog
https://blogs.nvidia.com/blog/mistral-nvidia-ai-model/?ncid=so-twit-243298&linkId=100000274370636

Mistral NeMoはパラメータ数12Bの比較的小型なAIモデルです。Mistral NeMoとGemma 2 9BとLlama 3 8Bの性能を比較した表が以下。Mistral NeMoのコンテキストウィンドウは12万8000で、他の2モデルと比べて大きなプロンプトを処理可能。さらに、ほとんどのベンチマークでGemma 2 9BとLlama 3 8Bを上回るスコアを記録しています。加えて、Mistral NeMoは量子化を考慮して設計されており、FP8でもパフォーマンスの低下を抑えて推論処理を実行可能とのこと。


Mistral NeMoは多言語対応モデルとして開発されており、特に日本語、英語、中国語、韓国語、アラビア語、イタリア語、スペイン語、ドイツ語、ヒンディー語、フランス語、ポルトガル語で性能を発揮します。多言語性能を測定するベンチマークでは、ほとんどのテストでLlama 3 8Bを上回るスコアを記録しています。


また、Mistral NeMoは新開発のトークナイザ「Tekken」を採用しており、トークン化の効率が向上しています。日本語では従来のトークナイザと比べて1.56倍の効率でトークン化が可能で、アラビア語では3.02倍、マレーシア語では3.90倍に効率が向上しています。


Mistral NeMoはNVIDIAのAIプラットフォームDGX Cloudで学習処理を実行しており、学習の際にはAI開発フレームワーク「NVIDIA NeMo」に含まれるGPU最適化技術「Megatron-LM」を活用したとのこと。

Mistral NeMoはすでにNVIDIA NIMで使えるサービスとしてパッケージ化されています。実際にNVIDIA NIM上で「istral-nemo-12b-instruct」を使ってみた結果、日本語で高精度な回答を返してくれました。


なお、Mistral NeMoはベースモデルの「Mistral-Nemo-Base-2407」と微調整版の「Mistral-Nemo-Instruct-2407」がHugging Faceで公開されています。ライセンスはApache License 2.0で、商用アプリにも使用可能です。

mistralai/Mistral-Nemo-Base-2407 · Hugging Face
https://huggingface.co/mistralai/Mistral-Nemo-Base-2407

mistralai/Mistral-Nemo-Instruct-2407 · Hugging Face
https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407

この記事のタイトルとURLをコピーする

・関連記事
NVIDIAがオープンモデル「Nemotron-4 340B」を発表、LLMトレーニング用合成データの生成に革命を起こすか - GIGAZINE

Mistral AIがコード生成特化型AI「Codestral Mamba」をオープンソースライセンスでリリース - GIGAZINE

Mistral AIが初のコーディング用生成AIモデル「Codestral」をリリース、80以上のプログラミング言語でトレーニング済み - GIGAZINE

Mistral AIが突如として新しい大規模言語モデル「8x22B MOE」を発表、コンテキスト長65kでパラメーターサイズは最大1760億か - GIGAZINE

MicrosoftがAI開発企業「Mistral AI」との提携を発表、Mistral AIがAzureの計算資源を利用可能になりAzureユーザーはOpenAIのモデルに加えてMistral AIのモデルも利用可能に - GIGAZINE

in ソフトウェア, Posted by log1o_hf

You can read the machine translated English article here.