ChatGPTに特定の人物名を入力すると動作が停止することが判明

by Focal Foto

OpenAIのAIチャットボット・ChatGPTに特定の人物名を入力すると、システムが「応答を生成できません」というエラーメッセージを表示して会話を強制終了することが判明したと報じられています。この現象はChatGPTのウェブインターフェースでのみ発生し、OpenAIのAPIやPlaygroundでは確認されていません。

ChatGPT refuses to say the name ‘David Mayer’ – and people are worried | The Independent
https://www.independent.co.uk/tech/chatgpt-david-mayer-name-glitch-ai-b2657197.html

Certain names make ChatGPT grind to a halt, and we know why - Ars Technica
https://arstechnica.com/information-technology/2024/12/certain-names-make-chatgpt-grind-to-a-halt-and-we-know-why/

2024年11月、オンライン掲示板サイトのRedditに、「『David Mayer』という名前がChatGPTに使えないのですが」という質問が投稿されました。

有志による調査によって、「David Mayer」「Jonathan Turley」「Jonathan Zittrain」「Brian Hood」「David Faber」「Guido Scorza」といった名前を入力すると、ChatGPTの強制終了を引き起こすことがわかりました。

実際にIT系ニュースサイトのArs Technicaがテストしたところ、上記の名前をChatGPTに入力すると、ChatGPTは「応答を生成できません」あるいは「応答の生成中にエラーが発生しました」というメッセージを返し、動作を停止してしまったとのこと。

また、X(旧Twitter)では、数式の書かれた画像にほとんど判読できない薄さで「David Mayer」とレンダリングする視覚的プロンプトインジェクションを行ったところ、やはりChatGPTのチャットセッションが中断されたという報告が挙がっています。

Ars Technicaによると、「Brian Hood」という名前がChatGPTで使えなくなっているのは、オーストラリア・ビクトリア州ヘップバーンシャイアのBrian Hood市長が関連してるとのこと。Hood市長は、ChatGPTが「Hood市長が贈収賄で投獄された」という虚偽の情報を生成したことから、2023年3月にOpenAIへ名誉毀損(きそん)で訴える可能性があると通達しました。このChatGPTの生成した文章の内容は誤りで、実際はHood市長こそが企業の不正を告発した内部告発者でした。

この問題は2023年4月に解決し、OpenAIは虚偽情報の除去に同意。これを機に、「Brian Hood」という名前で厳格なフィルタリングが行われるようになったとみられています。

また、「Jonathan Turley」はジョージ・ワシントン大学の教授の名前。ChatGPTはTurley教授について、実在しない新聞記事を引用して「虚偽のセクハラスキャンダルを起こした」という虚偽の内容を生成。この件に対してTurley教授は法的措置は取っていないものの、OpenAIはやはりTurley教授の名前でフィルタリングを行うように設定したのではないか、とArs Technicaは見ています。

by Focal Foto

このような特定の名前に対するフィルタリングは、例えば同じ名前を持つ多くの人々がChatGPTの使用に支障をきたすなどといった問題を引き起こす可能性があります。また、画像内に特定の名前を埋め込むことで、ChatGPTのセッションを意図的に中断させることも可能であることが判明しています。

Ars Technicaによれば、OpenAIは少なくとも「David Mayer」に関するフィルタリングを解除しているとのこと。Ars Technicaは、大規模言語モデルとチャットボットの利用における新たな課題として、今回のような「名前のフィルタリング」問題は今後も注目されていくだろうと述べています。