A/BテストでGemini 3.0が実際に稼働しているのが発見される

複数人のGeminiユーザーが、Googleが試験的に稼働させている未発表の「Gemini 3.0」に触れることができていると報告しています。

Gemini 3.0 Spotted in the Wild Through A/B Testing | Rick Lamers' blog
https://ricklamers.io/posts/gemini-3-spotted-in-the-wild/

Xユーザーの@chetasluaは「Gemini 3.0 Pro」が出力したという生成物をいくつか共有しています。

以下は、「ミニオンのカラフルなボクセルアートをデザインし、作成してください。完璧な照明とアニメーション付きの背景で、超詳細に仕上げてください」というプロンプトで出力した映像です。

以下は、「PlayStation 2シミュレーターのような完全な機能を備えたものを設計して作成してください」というプロンプトで出力したゲームシミュレーターです。実際にいろんな場所をクリックしてゲームをプレイすることができます。

これらは、AIモデルの無料開発環境「Google AI Studio」で実験的に登場しているとのことです。

Googleの次世代AIチャットボット「Gemini 3 Pro(仮)」がGoogle AI Studioでテスト中、出力結果はこんな感じ - GIGAZINE

機械学習エンジニアのリック・ラマーズ氏いわく、モデルの品質を測る指標として「SVGファイルの生成精度」が利用できるとのこと。「現状のAIはSVGファイルを出力するのが苦手」ということは、エンジニアのサイモン・ウィリソン氏が「自転車に乗ったペリカンのSVGファイルを出力させる」という独自のベンチマークを考案したことで明らかになったもので、実際に優秀なモデルでもペリカンのSVGファイルの精度は著しく低いことが以下の記事で分かります。

GPT-4oやGoogle Geminiに「自転車に乗ったペリカン」をSVG形式で描かせるベンチマークを試すとこんな感じ - GIGAZINE

ラマーズ氏も「Gemini 3.0が使える」といううわさを聞いてGoogle AI Studioで試したところ、A/Bテスト画面が表示されたとのことです。

そして、ラマーズ氏は「Xbox 360」のコントローラーのSVGファイルを各モデルに出力させて比較しました。ラマーズ氏が使用したモデルはGemini 3.0なのかGemini 3.0 Proなのか判別できなかったものの、他の主流のモデルと比べて精度は高かったそうです。

既存のGeminiモデルと比べた結果も共有されています。

@chetasluaもXboxコントローラーを生成させています。

ラマーズ氏は「使用したモデルIDは『ecpt50a2y6mpgkcn』でしたが、これだけではどのバージョンのモデルかは分かりません」と述べました。