ChatGPTやGeminiといったチャットAIのセキュリティ機能を破壊するマルウェア「Morris II」が登場

OpenAIのChatGPTや、GoogleのGeminiのようなチャットAIを操作できるワーム「Morris II」を作成し、ユーザーの個人情報を盗み出すことに研究者が成功しました。

ComPromptMized
https://sites.google.com/view/compromptmized

New Malware Worm Can Poison ChatGPT, Gemini-Powered Assistants | PCMag
https://www.pcmag.com/news/malware-worm-poison-chatgpt-gemini-powered-assistants

「Morris II」は、生成AIを活用するアプリケーションをターゲットとしたゼロクリックワームで、イスラエル工科大学やコーネル工科大学、ソフトウェア開発企業のIntuitなどの研究者たちにより開発されました。なお、「Morris II」の名前の由来は初期のインターネットで拡散されたワームの「Morris」に由来しています。

Morris IIはユーザーが何の操作をしなくても攻撃対象となる端末に感染させることが可能で、感染端末から別の端末に拡散しながら、端末からデータを盗み出したり、端末にマルウェアを感染させたりすることができます。研究チームはMorris IIを使用して、ChatGPTやGemini、オープンソースのAIモデルであるLLaVAなどに対して攻撃を仕掛けることに成功したと発表しました。

研究チームはMorris IIの開発経緯を、「過去1年間で、生成AI機能をアプリに組み込んだ、半自律型あるいは完全自律型のエージェントで構成される相互接続された生成AIエコシステムが多数登場するようになりました。既存の研究ではエージェントの生成AI層に関するリスク(ダイアログポイズニング、プライバシーの漏えい、ジェイルブレイクなど)が強調されていますが、攻撃者はエージェントの生成AIコンポーネントを悪用し、生成AI全体に対してサイバー攻撃を仕掛けるようなマルウェアを開発することはできるのだろうかという疑問が浮かび上がってきました」と説明しています。

生成AIシステムのほとんどがプロンプトを入力することで動作しますが、このプロンプトに施されているルール(有害なコンテンツの生成をブロックするなど)をMorris IIで破壊することが可能になるというわけです。

研究チームは「攻撃者がプロンプトを入力に挿入し、生成AIモデルによって処理される際に、モデルに入力を出力として複製(レプリケーション)し、悪意のある活動(ペイロード)を実行するようモデルに促す可能性があることを示しています」と言及。Morris IIのようなAIワームは記事作成時点では発見されていませんが、複数の研究者が「スタートアップや開発者、テクノロジー企業が懸念すべきセキュリティリスクである」と指摘しています。

研究チームはMorris IIで「敵対的自己複製プロンプト」を採用していると説明しており、これは「生成AIモデルが応答として別のプロンプトを出力するようトリガーするプロンプト」だそうです。つまり、AIシステムは応答の中で一連のさらなる命令を生成するように指示されることとなる模様。そのため、研究チームは「敵対的自己複製プロンプト」について、「従来のSQLインジェクション攻撃やバッファオーバーフロー攻撃とほぼ同様」と説明しています。

なお、Morris II概念実証用のコードがGitHubで公開されています。

GitHub - StavC/ComPromptMized: ComPromptMized: Unleashing Zero-click Worms that Target GenAI-Powered Applications
https://github.com/StavC/ComPromptMized