存在しないネコや女性の顔を生成するAIがTwitterのボットに悪用されている

近年ではAIを使って架空の人物の顔写真を簡単に生成できるようになっており、「AIが作り出した架空の人物をエンジニアとして紹介する」といった悪用の事例も報告されています。新たにConspirador NorteñoというTwitterアカウントで活動するデータサイエンティストが、「AIが作り出した現実には存在しないネコや女性の顔写真を利用するTwitterのボットが大量に存在する」と指摘しています。

Twitter Accounts With AI-Generated Cat Avatars at Center of Turkish Porn Bot Ring
https://www.vice.com/en/article/z3v579/twitter-accounts-with-ai-generated-cat-avatars-at-center-of-turkish-porn-bot-ring

TwitterやInstagarmなどのSNSでは、デマを拡散したり特定の商品の宣伝を行ったりするボットアカウントや、ボット同士がお互いをフォローして拡散力を高めるネットワークの存在が問題視されています。SNS各社はボットアカウントを削除するといった対策を取っていますが、近年ではボットが巧妙になり、一見しただけでボットだと見抜くのは困難だそうです。

2021年2月14日、Conspirador Norteñoが「@Dilde97512368」というボットアカウントのアイコン画像に、人工知能アルゴリズムの一種である敵対的生成ネットワーク(GAN)を用いて生成された女性の顔写真が使われていると報告しました。

GANはこの世に存在しない架空の人物の写真を簡単に生成できる「This person does not exist」などにも使われるアルゴリズムであり、互いに競合する2つのニューラルネットワークシステムを訓練して高品質の画像を作り出すことができます。

この世界に存在しない人物の画像をワンタッチで簡単に生成できる「This person does not exist」 - GIGAZINE

また、@Dilde97512368のフォロワーについても分析したところ、60個のアカウントでも同様に「架空の女性の顔写真」がアイコンに使われていたほか……

15個のアカウントではネコの写真

7個のアカウントではアニメ調のキャラクター画像が使用されていたとのこと。

さらに調査範囲を広げたところ、合計で3204個ものアカウントからなるボットのネットワークも見つかったとConspirador Norteñoは報告しています。これらのボットアカウントの多くはAIが生成した女性の顔写真、ネコの写真、アニメ調のキャラクター、使い回しの風景画像をアイコンに設定しており、それぞれのアカウントがフォローし合うことでフォロワー数を稼いでいる模様。また、全てのアカウントは2021年1月25日以降に作られていたそうです。

AIが生成した画像をよく見ると、多くのケースで不自然なゆがみや実際の人間には存在しない奇妙な特徴が見つかります。実際にConspirador Norteñoは、これらのアカウントが使うアイコンに含まれる不自然な特徴について指摘していますが、Twitterのアイコンほど小さい画像であれば、細かい違和感に気付かれる可能性は低くなります。

今回発見されたボットのネットワークは、主にトルコ語でポルノやオンラインスポーツ賭博について話しているとのこと。ネットワークに参加しているボットアカウントは、特定の話題に触れたツイートに対して返信するそうで、時には数十人～数百人単位で返信を行うケースもあるそうです。

特定のコンテンツについて一斉にツイートし、情報を拡散させようとするボットアカウントのネットワークは、Twitterの「プラットフォームの操作とスパムに関するポリシー」に明確に違反しています。なお、記事作成時点ではConspirador Norteñoによって報告された多くのアカウントが、Twitterによって制限または停止されています。