GoogleのAI音声会話サービス「Gemini Live」にカメラで撮影中の映像や画面上のトピックについて会話できる新機能が登場

Googleの「Gemini Live」は、マルチモーダルAIであるGeminiとリアルタイムで音声会話ができる機能です。そんなGemini Liveに、カメラで撮影中の映像やスクリーン上に表示されているトピックについて話せる新機能が登場するとのことで、YouTube上にデモ動画が公開されています。

Android showcases new AI and Gemini features at MWC
https://blog.google/feed/android-gemini-mobile-world-congress-2025/

Google's Gemini now lets you ask questions using videos and what's on your screen | TechCrunch
https://techcrunch.com/2025/03/03/googles-gemini-now-lets-you-ask-questions-using-videos-or-whats-on-your-screen/

Live video and screen-sharing are coming to Gemini Live this month
https://www.androidpolice.com/live-video-screen-sharing-coming-to-gemini-live-this-month/

Googleは2025年3月3日のブログで、3月3日～3月6日にスペインのバルセロナで開催されるテクノロジー見本市「MWC Barcelona 2025」に参加し、モバイルOSのAndroidに搭載されるAIが日常生活に役立つことを示すインタラクティブな展示を行うと発表しました。

また、「私たちはGemini Liveの新しいライブ動画機能と画面共有機能も公開します。これはAndroidデバイスのGoogle One AI プレミアムプランの一部として、Gemini Advancedの加入者に今月中に展開されます」と述べました。

GoogleはGemini Liveに追加されるライブ動画機能と画面共有機能についてのデモ動画を、YouTube上で公開しています。ライブ動画機能のデモ動画が以下。

Gemini Live with Video - YouTube

ユーザーが焼き物の映像を撮影しながらGemini Liveに対し、「たった今、この花瓶と2つの焼き物を焼き上げました」と語りかけます。

そして傍らに置いてある釉薬(ゆうやく)を映し、「どの釉薬がミッドセンチュリーモダンな見た目にぴったりだと思いますか？」と尋ねました。

するとGeminiは、「オリーブグリーンかミューテッドブルー(くすんだ色合いの青)」がミッドセンチュリーモダンな見た目に最も合うとアドバイスしました。

ユーザーが、持っている釉薬の中で最も適したものはどれかと尋ねると、一番左端の下の列にあるオリーブグリーンが最もいいとGeminiは回答しました。このように、新たな機能ではカメラで周囲の様子を撮影しながら、撮影したものに基づいてあれこれ質問することが可能となっています。

これに対しテクノロジー系メディアのAndroid Policeは、「Gemini Liveがあなたの芸術作品の色を選択することがどれほど便利か疑問に思う必要があります。これは本当に便利な機能なのでしょうか？」と述べ、Geminiが芸術作品の制作過程から人間のスキルを取り除くことに疑問を呈しました。

画面共有機能のデモ動画がこれ。

Gemini Live with Screenshare - YouTube

通販サイトでパンツの商品画面を見ていたユーザーが、Gemini Liveを呼び出します。

「このパンツに合う服のアイデアはありますか？」とGeminiに尋ねました。

するとGeminiは、「シンプルな白のTシャツやフィットした黒のタートルネックと合わせてもいいのではないでしょうか」と回答。

ユーザーはさらに「タートルネックは好きですが、どんなジャケットを着るべきですか？脚はぶかぶかです」と質問。

これに対しGeminiは、「デニムジャケットかボマージャケット(革製で毛皮襟の付いたフライトジャケット)がクールでカジュアルに見えます」とアドバイスしました。

Android Policeはこのデモ動画について、すでにAIによる商品説明が記載されているページについて、なぜわざわざGemini Liveに尋ねる必要があるのか疑問が残ると指摘。また、ユーザーがわざわざ口に出して「脚がぶかぶか」と言わなくてはならなかった点に言及し、これはGemini Liveがうまく画面上の商品を解釈できていないことを示していると主張しました。

なお、GoogleはGoogle Pixel 9とSamsung Galaxy S24／S25のみを対象に、「ファイルや画像、YouTube動画について話す」機能も提供しています。対象ユーザーは、保存した画像や撮影した写真のほか、YouTube動画の字幕に含まれる内容や、アップロードしたファイルについてGeminiと会話できるとのこと。Gemini Liveへのアップロードに対応しているファイル形式は「TXT」「DOC」「DOCX」「PDF」「RTF」「HWP」です。