OpenAIがロシア・中国・イラン・イスラエルによるAIの悪用を未然に防いだと明かす

OpenAIが「AIを用いて世論を操作し政治的結果に影響を与えようとする活動」を2024年3月～2024年5月に5件阻止したことを明らかにしました。阻止された活動はロシア・中国・イラン・イスラエルのユーザーによって展開されており、いずれも大きな影響を与える前にアカウントを停止できたとのことです。

Disrupting deceptive uses of AI by covert influence operations | OpenAI
https://openai.com/index/disrupting-deceptive-uses-of-AI-by-covert-influence-operations/

OpenAIが阻止した「AIを用いて世論を操作し政治的結果に影響を与えようとする活動」は以下の通り。

◆ロシアの政治的活動「Bad Grammar」
OpenAIは、ロシアのユーザーによるアメリカ・ウクライナ・バルト三国・モルドバを対象にした政治的活動を検出し、その活動を「Bad Grammar」と名付けました。Bad GrammarはOpenAIのAIモデルを利用してTelegram向けのボットを開発し、政治的コメントをTelegramに自動投稿していたとのこと。また、Telegramに投稿する政治的コメントもOpenAIのAIモデルを用いて生成していました。

Bad GrammarがTelegramに投稿していた政治的コメントの例が以下。「アメリカ政府はウクライナではなく自国の支援に力を注ぐべき」という旨が記されています。

◆ロシアの政治的ネットワーク「Doppelganger」
2022年2月頃から「Doppelganger」と呼ばれるロシアの組織によって「ウクライナ政府とナチズムを関連付けて非難する」「ウクライナを支援する国の分断を扇動する」といった活動が実施されています。OpenAIによると、DoppelgangerはOpenAIのAIモデルを用いて英語・イタリア語・ドイツ語・フランス語・ポーランド語のコメントを生成し、X(旧Twitter)と9GAGに投稿していたとのこと。さらに、X(旧Twitter)と9GAGに投稿したコメントのまとめ記事を作成してFacebookなどに転載していました。

◆中国の政治的ネットワーク「Spamouflage」
「Spamouflage」は、中国政府が背景にいるとされる政治的ネットワークで、「中国政府の政策推進」「反体制派の弾圧」などを目的として偽情報を拡散しています。

Spamouflageは、OpenAIのモデルを用いて日本語・英語・中国語・韓国語のメッセージを生成してXやブログに投稿していました。さらに、中国政府に批判的な人物の個人情報を掲載するサイト「revealscum[.]com」の開発コードのデバッグにもOpenAIのAIモデルが使われたそうです。

◆イランの政治的ネットワーク「International Union of Virtual Media(IUVM)」
「International Union of Virtual Media(IUVM)」はイランを拠点に活動する政治的ネットワークで、複数のSNSアカウントやウェブサイトを用いてイラン国外の世論を誘導しているとされています。OpenAIによると、IUVMはAIモデルを用いて長文の記事やウェブページ用のタグなどを生成し、作成した記事を「iuvmpress[.]co」で公開していたとのことです。

◆イスラエル企業の活動「Zero Zeno」
OpenAIは、政治やビジネスに関するコンサル業を展開する営利企業「STOIC」による政治的活動を検出し、この活動を「Zero Zeno」と名付けて阻止しました。STOICはOpenAIのAIモデルを用いて反イスラエル的なコメントを生成し、SNS上で拡散していたとのこと。以下の投稿例には大量の返信が寄せられていますが、これらの返信もSTOICがAIで生成したものだったそうです。

OpenAIは今度も悪意あるAIの用法を監視して積極的に介入する姿勢を示しています。