Googleが「Gemini Live」とリアルタイム動画分析が可能な「Project Astra」を統合した機能の提供を一部ユーザー対象に開始か

2025年3月上旬に開催されたMWC(Mobile World Congress)で約束したとおり、Googleが「Gemini Live」と「Project Astra」との統合を具体化させ、一部ユーザーに対して機能の提供を開始していることがわかりました。

Gemini Live Astra camera & screen sharing rollout starts on Android
https://9to5google.com/2025/03/22/gemini-live-astra-rollout-start/

Google is rolling out Gemini’s real-time AI video features | The Verge
https://www.theverge.com/news/634480/google-gemini-live-video-screen-sharing-astra-features-rolling-out

「Gemini Live」は、GoogleのAIアシスタント「Gemini」とリアルタイムに会話を交わすためのソフトウェアで、2024年8月にリリースされました。

GoogleのAI「Gemini」とリアルタイムで会話できるようになる機能「Gemini Live」が公開される - GIGAZINE

もう一方の「Project Astra」は、ユニバーサルAIアシスタントの研究プロトタイプとして、2024年12月に発表されました。「Gemini 2.0」を搭載し、リアルタイムで映像や音声を理解してくれるのが特徴です。

映像や音声を理解してリアルタイムで質問に答えてくれるGoogle製AIアシスタント「Project Astra」をスマホやスマートグラスで使いまくるデモ動画が公開中 - GIGAZINE

Googleは2025年3月に開催されたMWCで、Gemini LiveとProject Astraを統合することを約束。実際にデモを公開しています。

GoogleのAI音声会話サービス「Gemini Live」にカメラで撮影中の映像や画面上のトピックについて会話できる新機能が登場 - GIGAZINE

この機能についてRedditでKien_PSというユーザーが、Gemini Liveがリアルタイムに映像を理解して応答するようになったと報告を挙げています。

Kien_PS氏によると、Gemini LiveにはスクリーンショットをGeminiに見せて「画面について質問する(Ask about screen)」という機能があるのですが、新たに「画面をライブで共有する(Share screen with Live)」というボタンが増えていて、タップするとスマートフォンで見ている画面全体をGemini Liveと共有できたとのこと。共有するのは「画面全体」が対象で、単一アプリの共有はできなかったそうです。以下がKien_PS氏の投稿したスクリーンショット。

また、Gemini Liveはリアルタイムでカメラにもアクセスできるようになっていて、前面カメラに切り替えればまさに「Geminiとリアルタイムに対話」できるようになるようです。

このニュースを報じたニュースサイトの9to5Googleは、手元環境ではまだ利用できないものの、Googleが利用可能範囲をゆっくり広げていることは道理にかなっているとコメントしています。