目的に合ったAIモデルを探せるツール「Lumigator」をMozilla.aiがリリース

AIの急速な発達により、さまざまな分野において高度なパフォーマンスを発揮する言語モデルがいくつも誕生しています。しかし、言語モデルには得意、不得意があるため、特定のユースケースに適したモデルを選択することは、開発者にとって困難な課題となっています。新たに、MozillaのAI部門であるMozilla.aiが、機械学習の知識の有無にかかわらずAIモデルを選択する意志決定を行えるツール「Lumigator」を発表しました。

Lumigator is here!
https://blog.mozilla.ai/lumigator-is-here-2/

Mozilla.ai Lumigator — Lumigator 0.0.1 documentation
https://mozilla-ai.github.io/lumigator/

Lumigatorは、ユーザーがニーズに合った適切な言語モデルを選択するプロセスをガイドするオープンソースプラットフォームです。公式ブログによると、Lumigatorの主な特徴は以下の通り。

・定量評価メトリックベースのモデル比較と洞察
自然言語処理における指標であるBERTScoreやROUGEなどのメトリックを使用して、クローズドソースモデルとオープンソースモデルを並べて比較します。

・Hugging FaceとOpenAPI互換モデルの両方をサポート
Hugging Face Model Hubで利用可能なモデル、またはOpenAIやMistralなどのAPI経由でアクセスできるモデルを評価します

・UIおよびAPIコンポーネント
ユーザーインターフェイスまたはAPI統合のどちらでも、ワークフローに適した方を推薦します。

・開発者向けのソフトウェア開発キット(SDK)とドキュメント
LumigatorはGitHubで公開されており、SDKやドキュメントも詳細に提供されています。

LumigatorのUIは以下のような感じ。まず、「Provide Dataset」からAIを適用したいデータセットをアップロードします。

データセットをアップロードできたら、「Create experiment」から実験セクションを開始。

実験に使用するモデルを選択したら「Run experiment」をクリックして実験を実行。

実験が完了すると「SUCCEEDED(成功)」もしくは「FAILED(失敗)」と表示されます。

実験に使用したモデルごとに、評価指標を比較する表が表示されます。データセット内の各インスタンスのモデル予測と実際の予測値の比較も確認できるため、さまざまなモデルの中からデータセットに合ったモデルを選択できるという仕組み。

Lumigatorのインストール手順は以下のページに詳しくまとまっています。

Installation — Lumigator 0.0.1 documentation

Mozillaの主席プロダクトマネージャーであるジュリアナ・ロドリゲス・アラウージョ氏は「AIはアプリケーションの構築方法を変革していますが、適切なモデルの選択はブラックボックスであってはなりません。Lumigatorは、初心者からAIの専門家まで、製品にAIを統合したいすべてのエンジニアが十分な情報に基づいた決定を下せるようにしたいと考えています」と語っています。

Lumigatorのソースコードなどは、GitHubで公開されています。

GitHub - mozilla-ai/lumigator: Source code for Mozilla.ai's Lumigator platform