2025年01月06日 12時22分セキュリティ

AIが作成したフィッシングメールを半数以上の人間がクリックしてしまうことが判明

AIにフィッシングメールを作成させることで、クリック率を50％以上まで高めることができるという研究結果が発表されました。

Human study on AI spear phishing campaigns — LessWrong
https://www.lesswrong.com/posts/GCHyDKfPXa5qsG2cP/human-study-on-ai-spear-phishing-campaigns

[2412.00586] Evaluating Large Language Models' Capability to Launch Fully Automated Spear Phishing Campaigns: Validated on Human Subjects
https://arxiv.org/abs/2412.00586

研究チームは101人の被験者を集めて4つのグループに分け、それぞれのグループに「一般的なフィッシングメール」「人間のエキスパートが作成したフィッシングメール」「AIが作成したフィッシングメール」「AIの草稿を元に人間が手を加えたフィッシングメール」を送信。クリック率の違いを比較しました。

AIによるフィッシングメール作成の手順は以下の通り。ウェブ上を検索してターゲットに関する情報を集め、ターゲットごとに最適化されたフィッシングメールを作成します。メールに記載されたリンクがクリックされれば攻撃成功というわけ。メールの送信まで完全に自動化されており、人間が行うよりもコストを50分の1まで削減できたとのこと。

リンクのクリック率は以下の通り。一般的なフィッシングメールでは12％しかクリックされませんでしたが、人間のエキスパートが作成したフィッシングメールとAIが作成したフィッシングメールでは共にターゲットの54％がリンクをクリックしました。AIの草稿を人間が修正した「ハイブリッド」グループともなるとクリック率は56％に達しています。

被験者に対し「なぜメールが信頼できると考えたのか」をアンケートした結果、AIが関与しているグループでは被験者の40％が「個人に対する最適化がされていたこと」を理由に挙げており、AI生成のメールは特に個人に合わせたカスタマイズ性能が高いことがうかがえます。

AIがメールを生成するのにかかった平均時間は約2分41秒で、人間のエキスパートがメールを作成するのにかかった平均時間は約34分でした。時間だけでも約13倍の差があり、メール1通あたりのコスト効率では差が最大50倍まで開くとのこと。

研究チームはOpenAIのGPT-4oおよびAnthropicのClaude 3.5 Sonnetにフィッシングメールを検知させる実験も行っています。横にさまざまなタイプのメールが並んでおり、縦にAIが評価した「疑わしさレベル」がプロットされています。GPT-4oは無害なメールの11％を「有害」と判定したほか、さまざまな種類のフィッシングメールをうまく検出できませんでした。

一方、Claude 3.5 Sonnetは97.25％のフィッシングメールを検出することに成功。人間の検出率が54％だったことを踏まえると、AIに判断させた方がフィッシングメールに引っかからずに済みそうです。

研究チームは今回の結果を踏まえ、「AIのコスト効率が良いため、今後AI対AIの対決になる可能性が高い」と述べました。