Googleがオープンかつ商用利用可能で軽量な大規模言語モデル「Gemma」を公開

Googleがオープンソースの大規模言語モデル「Gemma」を2024年2月22日に公開しました。GemmaはマルチモーダルAIのGeminiよりも軽量であることが特徴で、商用利用も可能です。

Gemma - Google が提供する最先端の軽量オープンモデル ファミリー。  |  Google AI for Developers
https://ai.google.dev/gemma?hl=ja

Gemma: Open Models Based on Gemini Research and Technology
(PDFファイル)https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf

Gemma が Google Cloud で利用可能に | Google Cloud 公式ブログ
https://cloud.google.com/blog/ja/products/ai-machine-learning/gemma-model-available-in-vertex-ai-and-via-gke/

Gemma: Google introduces new state-of-the-art open models
https://blog.google/technology/developers/gemma-open-models/

Gemmaにはパラメータ数20億の「Gemma 2B」とパラメータ数70億の「Gemma 7B」の2種類があり、それぞれに「事前学習済みモデル」と特定のタスクに絞って調整した「インストラクションチューニング済みモデル」が用意されています。また、Gemmaの利用規約では、規模に関係なくすべての組織に対して商業利用と配布が許可されています。

GemmaはGoogle ColabやKaggle Notebookのほか、JAX、PyTorch、Keras 3.0、Hugging Face Transformersのフレームワークなど、Google Cloudでの開発者が使用しているツールをサポートしており、ノートPCやワークステーション、あるいはGoogle Cloud上で実行可能。

また、GoogleはNVIDIAと協力し、GemmaをGoogle Cloud TPUやNVIDIA GPU向けに最適化済みだと述べています。NVIDIAによると、NVIDIAのGeForce RTX GPUで動作可能なチャットボットAI「Chat with RTX」で、選択できるモデルにGemmaが追加される予定だとのこと。

無料のチャットボットAI「Chat With RTX」をNVIDIAがリリース、GeForce RTX GPU搭載PCでローカル動作が可能 - GIGAZINE

加えて、GemmaはGoogle Kubernetes Engine(GKE)にデプロイできるほか、事前構築済みの機械学習モデルを集約したプラットフォーム「Vertex AI Model Garden」にも追加されました。これによって、開発者は独自にチューニングされたモデルを、あらゆる規模のAIアプリケーションを強化できるスケーラブルなエンドポイントに簡単に変換できます。

GoogleはGemma 7B(緑)のパフォーマンススコアをLLaMA 2の7Bモデル(青)と13Bモデル(赤)、Mistralの7Bモデル(黄色)と比較して、以下のグラフにまとめています。Question Answering(質疑応答)とReasoning(推論)だと、Gemmaは他モデルとほぼ同等のパフォーマンスを示しており、Math/Science(数学・科学)やCoding(コーディング)ではGemmaが他モデルよりも優れたスコアを叩き出しています。

Gemmaの2Bモデルと7Bモデルの各ベンチマークテストのスコアを、LLaMa 2の7Bモデルと13Bモデル、Mistralの7Bモデルと比較した表が以下。Average(平均スコア)を見るとGemma 7Bが他モデルを上回っています。

そして、GoogleはGemmaと同時に「責任ある生成AIツールキット」をリリースしています。「責任を重視した設計」「堅牢で透明性の高い評価」「責任ある開発を支援」という3つのポイントからなる「責任あるAIの開発」をアピールするGoogleは、「GemmaはAI原則を最優先して設計されています。Gemmaの事前トレーニング済みモデルを安全かつ信頼性の高いものにする一環として、自動化技術を使用してトレーニングセットから特定の個人情報やその他の機密データを除外しました」と述べました。