ChatGPTのアップグレード版を統合したMicrosoftの「Bing」はデモで多くの間違った回答をしていたという指摘

Microsoftが発表したChatGPTのアップグレード版AIを統合した検索エンジン「Bing」について、エンジニアのディミトリー・ブレアトン氏が「Bingのデモンストレーションではいくつかの間違った回答が行われていた」と指摘しています。

Bing AI Can't Be Trusted - by Dmitri Brereton - DKB Blog
https://dkb.blog/p/bing-ai-cant-be-trusted

Demo of Microsoft's AI-Powered Bing Included Several Small Mistakes | PCMag
https://www.pcmag.com/news/demo-of-microsofts-ai-powered-bing-included-several-small-mistakes

2023年2月8日、MicrosoftはChatGPTのアップグレード版AIを統合した新しいBingとEdgeを発表しました。ChatGPTのアップグレード版AIが統合することで、Bingはユーザーと対話しながら必要な情報を賢く要約したり、ユーザーの求める情報を読みやすい形に成型して出力したりすることが可能となります。具体的にどんなことができるようになったのかは、以下の記事にまとめられています。

MicrosoftがChatGPTのアップグレード版AIを統合した新しい検索エンジンBingとブラウザEdgeを発表 - GIGAZINE

新しいBingの発表後に行われたデモンストレーションの様子はYouTube上で公開されています。

Introducing your copilot for the web: AI-powered Bing and Microsoft Edge - YouTube

Microsoftはデモンストレーションの中で新しいBingにアパレルブランド・Gapの2022年第3四半期決算報告書の要約をお願いしました。すると、Bingは同期におけるGapの営業利益率が「5.9％」だったと出力しました。しかし、実際の営業利益率は決算報告書にある通り「4.6％」であり、要約にミスが生じていることは明らかです。

他にも、Bingは決算報告書を要約して「Gapが次の四半期(2022年第4四半期)に2桁前半の純売上高の成長を予測している」と出力しますが、Gapは決算報告書の中で「2022年第4四半期の純売上高は前年同期比で1桁台半ばの減少を記録する可能性がある」と記しており、全く間違った要約を出力していることがわかります。

さらに、デモンストレーション序盤に「ペット用掃除機の売れ筋トップ3の長所と短所は？」と問いかけられたBingの回答が間違ったものであったとブレアトン氏は指摘しています。同氏によると、Bingがピックアップしたペット用掃除機のひとつである「Bissell Pet Hair Eraser Handheld Vacuum」に関する説明が間違っているとのこと。

具体的には、BingはBissell Pet Hair Eraser Handheld Vacuumの短所として「コードの長さが16フィート(約4.9メートル)と短い」を挙げていますが、この掃除機は持ち運びが便利なコードレスモデルだそうです。加えて、「売れ筋トップ3」を挙げるようお願いしたものの、Bingが挙げたのは「最もオススメの掃除機」であり、売れ筋モデルではなかった模様。

この他、Bingにメキシコシティのナイトライフを紹介させようとした際、エラーを起こすというハプニングも発生しています。また、デモンストレーションの中でBingはCecconi's Barというレストランについて「予約やメニューの確認ができるウェブサイトを持っている」と出力していますが、実際には検索エンジン上で「Cecconi's Bar」と検索しても該当するようなウェブサイトは見つからないとブレアトン氏。

また、Microsoftはデモンストレーションの中でBingが1990年代の音楽に関するクイズを作成する能力を持っているとアピールしました。実際、デモンストレーションの中でBingは選択式のクイズを10問作成するのですが、すべて正答が「A」だったため「バリエーションがまったくない」とブレアトン氏は指摘。

海外メディアのPCMagはBingが犯した間違いについてMicrosoftに問い合わせたそうですが、記事作成時点では返答は得られていないそうです。

また、Microsoftが作成したBingのよくあるご質問には「Bingは、すべての回答が信頼性の高いソースに基づくことを目的としていますが、AIは間違いを起こすこともありますし、インターネット上のサード パーティのコンテンツが常に正確または信頼性であるとも限りません。Bingは、見つかった情報を誤って表現する場合があり、説得力があるものの、不完全、不正確、または不適切な応答が表示されることがあります。ご自身で判断し、Bingの回答に基づいて意思決定を行ったり、行動を起こす前に、事実を再確認してください」と、Bingの出力が間違った内容である可能性があることに対する注意喚起が行われています。

なお、MicrosoftのBingと同じタイミングで発表されたGoogleのBardも発表時に不正確な答えを出して話題を呼びました。

GoogleのチャットAI「Bard」が不正確な答えを出したせいでGoogleの市場価値が15兆円以上下落 - GIGAZINE

チャットAIを統合した検索ツールであるBardやBingに対しては他にも懐疑の声が挙がっており、チューリッヒ大学の計算社会科学者であるアレクサンドラ・ウルマン氏は、「AIを利用した検索がどのように機能するかは完全に不透明です。言語モデルが失敗したり、幻覚を起こしたり、誤った情報を広めたりした場合、大きな影響を与える可能性があります」と述べ、透明性が欠如していると指摘しています。