ファインチューニング向けモデル「Mistral 7B Fine-Tune Optimized」が登場、特定タスクにおいてGPT-4を超える性能を発揮

既存のAIモデルに学習データを追加し、自分の好きなようなデータを出力するよう調整する「ファインチューニング」向けのモデル「Mistral 7B Fine-Tune Optimized」が登場しました。このモデルでファインチューニングを行うと、GPT-4を超える性能を発揮することもあるそうです。

How we built “Mistral 7B Fine-Tune Optimized,” the best 7B model for fine-tuning - OpenPipe
https://openpipe.ai/blog/mistral-7b-fine-tune-optimized

元になったモデルはMistral AIが開発した大規模言語モデル「Mistral 7B」です。Mistral 7B Fine-Tune OptimizedはMistral 7Bへさらなる微調整を施すためのベースモデルとなるように最適化されたモデルであり、モデルの指示理解と推論能力を最適化できるとのこと。

実験的に取り上げた4つのタスクを平均すると、Mistral 7B Fine-Tune OptimizedでファインチューニングしたMistral 7Bは、GPT-4よりわずかに高い値が出ました。

制作チームのOpenPipeは「GPT-4などは汎用(はんよう)モデルであり、特定のタスクでは、ファインチューニングしたような何かに特化したモデルより劣ることがあります」と指摘。全体的な能力が低いモデルであっても、何時間もかけてファインチューニングされたモデルは、一つのタスクを効率的にこなせるようになると解説しました。

制作過程では18個もの仮モデルが誕生したそうですが、複数のモデルを融合したモデルが高いパフォーマンスを示し、それをさらに改良することでMistral 7B Fine-Tune Optimizedが生まれたとのこと。

すでにMistral 7B Fine-Tune OptimizedはHugging Face上で公開されています。OpenPipeは「ユーザーがこのモデルを使ってどんなプレーをするか楽しみですが、これは始まりに過ぎません。時間をかけて、より強く、より速く、より安価なベースモデルをリリースし続けます」と述べました。