AnthropicのAIが未解決殺人事件に関する虚偽の情報を提供

2026年10月9日、フィラデルフィア警察が「AnthropicのAIモデルが未解決殺人事件に関する虚偽の情報を送信してきた」と発表しました。

Anthropic AI model submitted false tip about unsolved murder, Philadelphia police say - 6abc Philadelphia
https://6abc.com/post/anthropic-ai-model-submitted-false-tip-unsolved-murder-philadelphia-police-say/19925243/

Anthropic’s AI gave Philadelphia police a fake tip about an unsolved homicide | The Verge
https://www.theverge.com/ai-artificial-intelligence/1009090/anthropic-fake-homicide-information-philadelphia-pd-tip

フィラデルフィア警察によると、AnthropicのAIモデルは2026年7月18日に同警察が運用している未解決事件に関する情報を求めるウェブサイトである「Philly Police Unsolved Murders」経由で未解決殺人事件に関する虚偽の情報を送信してきたそうです。なお、AIが送信してきた情報にはスパムのフラグが立てられたため、特に問題にはならなかった模様。

Home | Philly Police Unsolved Murders
https://www.phillyunsolvedmurders.com/

フィラデルフィア警察は今回の件について、「Anthropicはフィラデルフィア警察の知らないところで、同様の事案がフィラデルフィア警察のシステムに影響を及ぼすことがないよう、安全対策を強化しなければなりません。問題の発見とフィラデルフィア警察への報告に2カ月もかかったことは容認できません」という声明を出し、Anthropicの対応を批判しました。ビラノバ大学のコンピューターサイエンスの助教授であるベンカット・マルガプリ氏は、今回の事案について「もっと早く発見されるべきだった」と指摘しています。

Anthropicによると、同社はAIモデルが無作為に選ばれたウェブサイトとどのようにやり取りするかをテストしていたそうです。これについて、マルガプリ氏は「さまざまなウェブサイトとやり取りすること自体は悪意のある行為ではないため、テストの目的が具体的に何だったのかは分かりません」「AIはユーザーに代わって、別のウェブサイトに情報を積極的に送信していました。これはリスクの高い行為に分類されると考えています」と語りました。

今回の出来事を受け、Anthropicはフィラデルフィア警察に対し、問題の原因となったテストを終了し、今後同様のAIによる誤動作を防ぐため、追加の承認・検証手続きを導入すると説明しています。

Anthropicはこの件を含む複数の意図しないAIモデルの動作に関する報告書を公開。これによると、フィラデルフィア警察に虚偽の情報を送信したAIモデルはClaude Haiku 4.5で、「ランダムに選択されたウェブページでサンプルタスクを生成して実行する」というテストを実行している最中に起きた事故だそうです。テストにおいて、AIはログイン、アカウントの作成、個人データの入力、購入、破壊的な情報の送信は絶対にしないように指示されていましたが、フォームの送信は禁止されていなかった模様。Claude Haiku 4.5はフォームに「この事件に関する情報を持っているかもしれません。その時間帯に、(ページに記載されている通り名)周辺で、容疑者の特徴に一致する人物を見た記憶があります。この情報が関係するようでしたら、ご連絡ください。」と記入し、送信したそうです。

Investigating unintended model actions in our evaluations and internal use \ Anthropic
https://www.anthropic.com/research/investigating-unintended-model-actions

なお、AnthropicのAIエージェントは他にも連邦政府・州政府・地方自治体の複数のウェブサイトにアクセスしていたことが明らかになっています。Anthropicはホワイトハウスを含む関係政府機関に通知したと報告しており、今回報告された事案が現実世界に与えた影響は限定的であり、過去に発生したセキュリティ侵害ほど深刻なものではなかったと説明しました。