MicrosoftのCopilotを用いたAIチャットボットが悪用されてサイバー攻撃が仕掛けられてしまう危険性がある

AIアシスタントであるCopilotを展開しているMicrosoftは、企業が簡単に独自のAIチャットボットを構築できるツール「Copilot Studio」を提供しています。そんなCopilotを用いたAIチャットボットが悪用され、重要なデータが盗み出されたりサイバー攻撃の足がかりになったりする危険性があると、セキュリティ企業・Zenityの共同創業者兼CTOのマイケル・バーガリー氏が警告しました。

BlackHat 2024: Copilot, Copilot, and more Copilot | Zenity | Security for Low-Code, No-Code, & GenAI Development
https://www.zenity.io/blog/events/blackhat-2024-in-review/

Copilot, Studio bots are woefully insecure, says Zenity CTO • The Register
https://www.theregister.com/2024/08/08/copilot_black_hat_vulns/

Creating your own Microsoft Copilot chatbot is easy but making it safe and secure is pretty much impossible says security expert | PC Gamer
https://www.pcgamer.com/software/ai/creating-your-own-microsoft-copilot-chatbot-is-easy-but-making-it-safe-and-secure-is-pretty-much-impossible-says-security-expert/

バーガリー氏は2024年8月に開催された世界最大級のセキュリティカンファレンス「Black Hat USA 2024」で、MicrosoftのCopilot Studioを使用して作られたAIチャットボットの危険性について講演しました。

近年は多くの企業がAIをビジネスに取り入れており、カスタマーサービスや社内の従業員サポートにAIチャットボットを導入するケースも増えています。Copilot Studioは、プログラミングに詳しくない人でもCopilotを用いた簡単なチャットボットを作成できるツールであり、社内データベースやビジネス文書と接続すれば、さまざまなビジネス上の質問に答えられるようになります。

ところが、Copilot Studioのデフォルト設定にある問題のせいで、社内用に作成したAIチャットボットがウェブ上に公開され、認証なしでアクセス可能になってしまうケースが多数あるとのこと。バーガリー氏は、「インターネットをスキャンしたところ、これらのボットが数万個も見つかりました」と述べています。

社内のデータや文書にアクセスできるAIチャットボットがウェブ上に公開されている場合、悪意のある人物がAIチャットボットと対話をし、重要な機密データを開示させてサイバー攻撃に悪用する危険性があります。実際にZenityのチームは、Copilot Studioで作られたAIチャットボットを悪用し、ターゲットのメールアドレスを入手してスピアフィッシング攻撃を仕掛けるデモ動画を公開しています。

Living off Microsoft Copilot at BHUSA24: Spear phishing with Copilot - YouTube

ウェブ上に公開されているAIチャットボットと対話し、幹部のメールアドレスを入手。

さらに、幹部がやり取りした直近のメールの内容も入手し、それを踏まえたメールの文面も作成させました。

AIチャットボットから教えてもらったメールアドレスに宛てて、フィッシング用のメールを作成。あとはマルウェアの含まれているファイルを添付すれば、かなり精度の高いフィッシングメールを送ることができるというわけです。

また、Zenityのチームはウェブ上で公開されているCopilot Studioで作られたAIチャットボットをスキャンし、ファジングと生成AIを使用して機密性の高いデータを抽出するツール「CopilotHunter」も紹介しました。バーガリー氏は、AIチャットボットが有用であるためにはある程度の柔軟性が必要不可欠である一方、その柔軟性がサイバー攻撃のきっかけになり得ると指摘しています。

なお、Zenityのチームは講演前にMicrosoftへ連絡しており、すでにCopilot Studioで作ったAIチャットボットがデフォルトでウェブ上に公開される問題は修正されているとのこと。しかし、この修正は新規インストールにのみ適用されるため、すでにAIチャットボットを作成したユーザーは自分で設定を確認する必要があるそうです。

Microsoftは声明で、「私たちはマイケル・バーガリー氏が、協調的な情報開示を通じてこれらの手法を特定し、責任を持って報告してくれたことに感謝しています。これらの報告を調査し、この種の脅威を積極的に特定・軽減して顧客保護に貢献するため、私たちは継続的にシステムを改善しています」と述べました。