Google レンズで「カメラに写るものをAIで分析して深く掘り下げた情報を調べる機能」が一部ユーザーで利用可能に

GoogleはGoogle One AIプレミアムプランの加入者に向けて、高度な推論や思考、マルチモーダル機能を備えたAI検索機能「AIモード」を提供しています。新たにAIモードの一環として、「カメラに写ったものをAIで分析して深く掘り下げた情報を調べられるマルチモーダル機能」が、Google レンズに追加されました。

AI Mode in Google Search adds multimodal search
https://blog.google/products/search/ai-mode-multimodal-search/

AIモードでは新たに、Google レンズの強力なビジュアル検索機能とGeminiのカスタムバージョンを組み合わせ、カメラに写ったものについて複雑な質問を行うことが可能になりました。これは、ビジュアル検索に関する長年の取り組みに基づいて構築され、さらに一歩進んだものになっているとのこと。

Geminiのマルチモーダル機能により、AIモードはカメラに写ったオブジェクトの関連性や素材・色・形状・配置といったコンテキストなどを含む、画像内のシーン全体を理解することが可能です。オブジェクトに対する理解を生かして、AIモードは画像全体や個々のオブジェクトに関する複数のクエリを提示し、従来のGoogle検索よりも幅広く深い情報にアクセス可能になるとGoogleは説明しています。

たとえば、以下のように本棚に並んだ本の背表紙をGoogle レンズで撮影します。

「If I enjoyed these, what are some similar books that are highly rated(これらの本が面白いと感じた場合、似たような本で評価が高いものは何でしょう)」と尋ねてみます。

すると、AIモードは画像に写った本について把握し、クエリに基づいた情報を収集・分析します。

背表紙のタイトルからユーザーが好きそうなタイトルを推測し、その中で評価が高い本について紹介したウェブサイトを紹介してくれました。

回答の文章中でもオススメの本をいくつか挙げています。このユーザーはマインドセットや心理学の本が好きとのことで、ダニエル・カーネマン著の「ファスト＆スロー あなたの意思はどのように決まるか？」やアンジェラ・ダックワース著「Grit: The Power of Passion and Perseverance」などがオススメされていました。

画面下部の入力フォームやマイクアイコンをタップして、さらに質問を重ねることも可能。

「I'm looking for quick read, which book from the mindset section should I choose(素早く読める本を探しているのですが、マインドセットのセクションからどの本を選んだらいいですか？)」と質問します。

すると、紹介した中で最もページ数が少ないのはブレネー・ブラウン著「Daring Greatly」だと教えてくれました。

Googleレンズの新機能は、AIモードのユーザーのみが利用可能です。なお、新たにGoogle One AIプレミアムプランの加入者に加え、アメリカ在住のSearch LabsユーザーもAIモードを利用可能になったとのことです。