GoogleのチャットAI「Bard」に「この動物の名前を教えて」など画像の詳細を聞けるGoogleレンズ機能が追加されたので使ってみた

Googleは無料で使えるチャットAI「Bard」の開発を進めています。2023年9月19日には画像の詳細を検索してくれる「Googleレンズ」がBardに統合され、画像をアップロードして画像の詳細を尋ねることが可能になりました。一体どれだけの精度で画像を解説してくれるのか気になったので、実際にBardのGoogleレンズ機能を使って性能を確かめてみました。

Google Japan Blog: Bard が高性能なモデルにアップデート
https://japan.googleblog.com/2023/09/bard.html

Bardの画面を確認すると、入力欄の左側に画像ボタンが表示されていたのでクリックします。

データ管理に関する通知が表示されたので「OK」をクリック。

「OK」をクリックすると元の画面に戻されたので、画像ボタンを再度クリックしました。

するとファイル選択画面が表示されたので、Bardに詳細を聞きたい画像を選択。

今回は巨大構造物ソーラーアークの写真を選択しました。

チャット入力欄に「何が写ってる？」と入力してから送信ボタンをクリック。

すると、「ソーラーアークが写っている」という旨の回答が返ってきました。「白と青のツートンカラー」「太陽の塔を模したデザイン」など所々怪しい部分がありますが、被写体がソーラーアークであることは正しく認識できているようです。

続いて、コイ科の淡水魚「ハス」の写真の詳細を聞いてみます。

「この魚の種名を教えて」と入力して送信ボタンをクリック。

正解は「ハス」なのに「カワムツ」という返答が返ってきました。光の反射によってカワムツに特徴的な「体を横切る黒い線」が写っているように見えなくもないので勘違いしたのかも。このように誤った回答が返ってくることもあるので、Bardの回答を完全に信じるのは避けるのがベターです。

続いて、イーロン・マスク氏が2014年に来日した際に撮影した以下の写真の詳細を聞いてみます。

「この人、誰？」と入力して送信ボタンをクリック。

しかし、「人物の画像についてはまだ対応していません」と返答されてしまいました。回答の内容から推測すると、将来的には人物の画像にも対応する可能性がありそうです。

なお、2023年9月19日には英語版限定でGmailやGoogleドキュメントの内容をBardの回答に含められる「Bard Extensions」も発表されました。Bard Extensionsを使えば「Gmailに届いたメールを要約」「Gmailでやり取りした相手との予定を確認」といった操作を実行可能。具体的にどんな機能が使えるようになるかは、以下のムービーでも紹介されています。

Introducing Extensions ✨ | Bard - YouTube