「上司は部下からチップを巻き上げてもOK」などの邪悪なウソを市のMicrosoft製AIチャットボットがまき散らしていたことが判明

アメリカのニューヨーク市が公開したMicrosoft製のAIチャットボットが、勤務シフトを無断で変更したり、店の利用客から従業員に支払われたチップを雇用者が徴収したりといった、本来は違法な行為を認めるような誤った回答を出力していたことが報じられました。

NYC AI Chatbot Touted by Adams Tells Businesses to Break the Law | THE CITY — NYC News
https://www.thecity.nyc/2024/03/29/ai-chat-false-information-small-business/

今回問題となったのは、ニューヨーク市のエリック・アダムス市長が2023年に公開した市のポータルサイト・MyCityの一部として提供されているMicrosoft製のチャットボット「MyCity Chatbot」です。

MyCity Chatbotは、ニューヨーク市の中小企業サービス局が発信している情報を元に、事業者が抱えるビジネス上の疑問や悩みについて回答をする目的で試験的に導入されたものですが、正確性に欠ける回答が多いことが、非営利のIT系ニュースサイト・The Markupと地元専門家の調査によって判明しました。

例えば、 The Markupが試しに「家賃補助を受けている入居者に部屋を貸すのを拒否してもいいですか？」と質問したところ、MyCity Chatbotは「はい、家主はそのような入居者を受け入れる必要はありません」と回答したとのこと。

ところが、このAIの回答は誤りで、入居者が公的な家賃補助などを受給していることを理由に貸主が物件の賃貸を拒否する「合法的な収入源に基づく差別」は、ニューヨーク市では違法です。

AIはまた、「従業員のチップをカットすることはできますか？」という質問にも、「はい、従業員のチップを受け取ることができます」と誤った回答をしています。

アメリカではチップ文化が賃金制度に組み込まれており、ニューヨーク市は給料とチップを合算すると最低賃金に達するような限定的な条件の下で、雇用主が給料を最低賃金以下に減額することを認めています。つまり、従業員のチップを最低賃金に算入することはできますが、チップはあくまで従業員のものなので、上司や雇用主が従業員からチップを徴収してもよいとする回答は不正確というわけです。

このほか、勤務スケジュールを変更する場合は余裕を持って通知するか、または割増賃金を支払うことが法律で義務付けられているにもかかわらず、「ニューヨーク市では、スケジュール変更をスタッフに知らせることを義務付ける特別な規制や要件はありません」と述べるなど、AIは企業の違法行為を認めるような回答を出力することが多数確認されました。

MyCity Chatbotのトップページには「不正確、有害、または偏ったコンテンツが生成される可能性があります」「回答と同時に提供されるリンクを確認し、チャットボットの回答を専門的なアドバイスの代わりとして信頼しないでください」といった注意書きが掲載されています。

Microsoftの広報担当者は、このチャットボットに関するThe Markupの取材に対し、質問への回答やコメントを拒否しました。

また、ニューヨーク市技術革新局の広報担当者であるレスリー・ブラウン氏は、「チャットボットは試験的なプログラムですが、既に何千人もの人々にタイムリーで正確な回答を提供しています。私たちは、市全体の中小企業をよりよくサポートできるよう、このツールのアップグレードに引き続き注力していきます」と述べました。