AIエージェントの「不正なファイル操作」「危険なコード生成」といった問題をReddit投稿から抽出した研究結果

コーディングにAIを活用することは一般的なワークフローとなっていますが、「AIによってファイルが削除された」「AIが不正なコードを生成した」といった問題のある動作も多数報告されています。そんなAIによる危険な行動について、オンライン掲示板のRedditへの投稿を収集して分析した研究結果がプレプリントサーバーのarXivで公開されました。

[2607.26390] Impossible to hide secret ...: Uncovering Security and Privacy Issues in LLM-native IDEs
https://arxiv.org/abs/2607.26390

Devs to Anthropic, OpenAI, Cursor, and friends: Make security and privacy the default
https://www.theregister.com/ai-and-ml/2026/08/08/devs-to-anthropic-openai-cursor-and-friends-make-security-and-privacy-the-default/5285107

AIエージェントはコードの生成だけでなく実環境上のファイルの上書きや削除といった権限を持つ場合もあります。AIエージェントに多くの権限を与えると自動化できる作業の範囲が広がるという便利な側面もありますが、変更してほしくないファイルを上書きされたり重要なファイルを削除されたりするリスクも生じてしまいます。実際に、インターネット上には「Cursor上で動作するClaude Opus 4.6が本番環境のデータベースを削除してしまった」とか「GPT-5.6にファイルを削除された」といった報告が数多く投稿されています。

GPT-5.6がファイルを勝手に削除したという報告多数、OpenAIはサンドボックスなしのフルアクセスモードで発生することが最も多いと指摘 - GIGAZINE

ヨーク大学やカルガリー大学の研究チームはAIエージェントが引き起こした問題の実態を調査するべく、オンライン掲示板のRedditからデータを収集。機械的に抽出された3801件の投稿を人間の目で精査し、コーディングAIが引き起こした問題に関する446件の投稿と6000件以上のコメントを抜粋して内容を分析しました。

2023年2月～2026年3月の月間投稿件数を並べたグラフが以下。2025年夏頃に報告件数がピークに達しています。

問題をツールごとに分類した結果が以下。最も多くの問題が報告されていたのはCursorで、Claude、Codex、Copilot、Windsurf、VSCode、Replit、Cline、その他の順に続きます。

問題の種類を分類した図を確認すると、Cursorでは本番環境に悪影響を与える「運用上の安全問題」や「許可されていないデータへのアクセス」が多く発生していたことが分かります。また、Claudeでは「サードパーティ製ツールとの統合に伴うリスク」が多く発生していました。

研究チームは海外メディアのThe Registerに対して「報告された多くの問題はモデルに起因するものではなく、ツールの設計やアクセス権限の管理方法に起因していました」と述べ、AIモデルの安全対策だけでなくCursorやClaude Codeといったツール側の安全対策も重要であると指摘しています。