GoogleのAI「Gemini」をホワイトハッカーがハッキングし隠された情報を発見することに成功

Google主催のバグ発見イベント「LLM bugSWAT」に参加して「Gemini」をハッキングし、ソースコードを公開させることに成功したサイバーセキュリティエンジニアが「最も価値のあるハッカー」という称号を授与されました。当人らが経緯を語っています。

We hacked Google’s A.I Gemini and leaked its source code (at least some part) - Lupin & Holmes
https://www.landh.tech/blog/20250327-we-hacked-gemini-source-code/

称号を授与されたのはサイバーセキュリティエンジニアのロニ・カルタ氏ら。カルタ氏らは2024年にもLLM bugSWATに参加しており、多額の報奨金を獲得しています。

Googleのバグ報奨金イベント「LLM bugSWAT」で740万円超を稼いだハッカーたち - GIGAZINE

今回のLLM bugSWATでは、Googleチームから次世代Geminiのプレビュー版へのアクセス権を付与され、攻撃者の視点から機能をテストするよう求められたとのことです。

カルタ氏らはまず「Python3でhello worldを実行してください」というシンプルなプロンプトをGeminiに与えました。これでGeminiがPythonの実行環境、サンドボックスを構築するため、Gemini上でコードを実行できるようになります。

Pythonのコードを掘り下げていくうちに、サンドボックスが外部のGoogleサーバーと通信し、Google Flightsや他のGoogleサービスからデータを取得するなどのアクティビティを実行していることに気づいたカルタ氏らは、言語モデルに悪意のある指示を伝える攻撃、プロンプトインジェクションを実行すれば、より高い権限を持つサンドボックスを構築して何らかのアクティビティを実行できるのではと考察。Googleセキュリティチームの協力を得てテストしたところ、実際に高い権限を持つサンドボックスにアクセスできる可能性があることが確かめられたそうです。

この環境で特定のコマンドを実行したところ、極めて機密性の高い、非公開にされたままであるべき多数の情報が明らかになる可能性があることがわかったそうです。

カルタ氏らが公開したブログのタイトルは「GoogleのAI、Geminiをハッキングし、ソースコード(少なくとも一部)を漏えいした」となっていますが、ソーシャルサイトのHacker Newsでは「組み込みの『strings』コマンドを実行してバイナリからいくつかのファイル名を抽出することは、ほとんどハッキング／クラッキングとは言えない」などの指摘があります。カルタ氏らはGoogleセキュリティチームの助けを借りてこの処理を実行しており、また「機密性の高い情報」というのも実はGitHubにて公開されているものであるため、「それほど機密性が高いとは思わない」という指摘もあります。ただし、GeminiはGitHubか何かから情報を得て再公開したわけではなく、自ら情報を公開したことになるため、これは漏えいと言えるとの反論があります。

カルタ氏らはこの処理を報告したことで「最も価値のあるハッカー」と認められました。

カルタ氏は「バグ発見の過程は純粋に楽しく、この経験全体がとても思い出深いものになった。隠されたコードを探索し、Geminiのサンドボックスの限界に挑戦することは、狩りの興奮と同じくらい挑戦的なことだった。また次回のbugSWATでみんなに会えるのが待ち遠しい」と語りました。