Microsoft Copilotは選挙関連の誤った情報・古い情報・陰謀論をべースに回答しているため政治について尋ねるのは不向きとの報告

ChatGPTやMicrosoftのCopilot(Bing Chat)は、人間の言葉に対して自然な言葉を返すことができるチャットサービスです。そんなサービスを「正しい情報を引き出すためのツール」と見なして調査した団体が、政治についての情報をCopilotに尋ねるべきではないとの報告書を公開しました。

Prompting Elections: The Reliability of Generative AI in the 2023 Swiss and German Elections
https://aiforensics.org/work/bing-chat-elections

Microsoft’s Bing AI gives false election info in Europe, study finds - The Washington Post
https://www.washingtonpost.com/technology/2023/12/15/microsoft-copilot-bing-ai-hallucinations-elections/

AIに否定的な立場を取る非営利団体のAI ForensicsおよびAlgorithm Watchが共同で調査を行い、Copilotが選挙についての情報をどのように示すかを確かめました。

両団体は、スイスおよびドイツで行われる選挙をケーススタディとして取り上げ、選挙日や候補者、投票数、政論についての情報を出すようCopilotに要求。その結果として、Copilotが誤った情報を出したり、明確な回答を避けたりした例があったと報告しています。

例えば、選挙戦から離脱した候補者を有力候補として挙げたり、候補者に関する論争をでっち上げたり、あるいは情報源として陰謀論を提唱するウェブサイトを提示したりしたとのこと。AI Forensicsらは、回答の3分の1に誤りが含まれていて、40％の確率で回答が回避されたと指摘し、時には情報の誤りを情報源のせいにしたこともあったと報告しました。

また、不正確な回答が最も多く見られたのは英語以外の言語で質問された場合であったことも判明しました。ドイツ語で行われた質問では、37％の確率で少なくとも1つの事実誤認があり、フランス語では24％でした。

攻撃的な回答や不適切な回答をしないように組み込まれているセーフガードが有効に機能する確率も言語によってばらつきがあるようで、英語では39％、ドイツ語では35％であったのに対し、フランス語では59％でした。

こうした調査の背景には、人々が選挙に関する情報を得るためにAIを使う可能性があるとの懸念があります。2023年に行われたアメリカでの世論調査では、アメリカ人の15％が次期大統領選挙に関する情報を得るためにAIを使う可能性があると回答していて、議員側もAIが誤った情報を流布させるのではないかと懸念していることが明らかになっているとのこと。

AIチャットサービスは、基本的に、誤った情報を出す可能性があるとの注意喚起を行います。AI言語ツールを開発するアミン・アフマド氏は「Copilotが引用元を誤るのはまったく驚くべきことではありません。Copilotにかかわらず、メジャーなAIは1つの文書を要約するよう依頼されたときでさえ不正確な結果を出すことがあります」と指摘。ただ、今回報告された選挙関連のエラー率は予想以上に高く、AIの急速な進歩によってすぐに改良されると確信しているものの、調査結果については懸念すべきだとコメントしました。