Twitterで人気を集めたミーム画像をニューラルネットワークに解釈させるボットはどうして生まれたのか？

Twitterで多くの人が「いいね」やRTした人気の画像を、ニューラルネットワークで解釈して「何が写っているのか」を推測しツイートするボット「neural net guesses memes(NNGM)」が46万フォロワーという人気を博しています。なぜこんなボットが生み出されることになったのか、テック系レポーターのヘイデン・フィールドさんが作者から話を聞き出しています。

The creator of the viral "neural net guesses memes" Twitter account explains how it works
https://www.morningbrew.com/emerging-tech/stories/2022/02/16/the-creator-of-the-viral-neural-net-guesses-memes-twitter-account-explains-how-it-works

GitHub - riscmkv/NNTwitterBot
https://github.com/riscmkv/NNTwitterBot

NNGMのツイートの一例はこんな感じ。以下はノイマン氏も気に入っているというネタで、冷蔵庫に大量の卵が入っている写真ですが、ニューラルネットワークの解釈により「確実性99.99％でピンポン球」と推測。

作者はコンピューターエンジニアのグレン・ノイマンさん。大学時代に機械学習と出会い、動物の画像を解釈させて犬か猫かを判断させる課題などを通して、「ニューラルネットワークがどのように考えてその結論を出したのか」といった部分に興味を抱きました。

ノイマンさんは大学卒業後、ニューラルネットワークとは無縁の職に就いたものの、「ニューラルネットワークをいじれる」「Twitter APIについて知るいい機会にもなる」と思い立って、Twitterボット・NNGMの開発を開始。

コードそのものはPyTorchの学習済みResNeXtモデルを使って数時間で完成し、あとはTwitter APIの部分で苦戦したとのこと。画像認識モデルとしてResNeXtを選んだ理由は、データセット「ImageNet」を用いて正確なニューラルネットワークを作るコンペの2016年の勝者だったことも1つですが、PythonライブライのPyTorchにResNeXt用の事前学習済みモデルがあり、自分でコーディングして学習させる必要がなかったからだそうです。

NNGMが最初にバズったのは2021年10月の、「おもちゃの戦車に博麗霊夢のぬいぐるみが乗っている」という写真を「確実性37.05％でスノーモービル」と推測した以下のツイート。東方Projectのファンが集うコミュニティにこのツイートが届いて話題になったとのこと。

アカウントが小規模なうちは、DMで送られてきた「お題」写真を1枚ずつ処理していたそうですが、やがてスクリプトを組んで処理するようになり、そのうち、DMの数が増えすぎてスクリプトでの処理も間に合わなくなって、投稿専用サイトが作られました。

ニューラルネットワークのすごさを示したかったというノイマン氏は、推測が外れることについては「ミーム画像を読み込ませている以上、しょうがないです」と納得しており、むしろ「ボットがなぜそう考えたのか、そういう推測をしたのかがわかったときに、ちょっとビビります」と語っています。

また、大きく推測を外すこともあるボットですが、そのズレ具合を愛し、推測が当たったときには盛り上がってくれる人たちがいて、「無意味なミームに対する推測に興奮している人たちを見ると、本当に楽しい気分になります」とノイマン氏は語っています。

なお、ノイマン氏お気に入りのツイート選は以下のようなラインナップ。

チーズてんこ盛りのハンバーガーは「確実性99.3％でパイナップル」。ノイマン氏は「確かにこのチーズの具合はパイナップルぽい」と納得。

両開き戸を「確実性36.57％で引き戸(sliding door)」と推測したのは、ガラスに書かれた会社名「THE SLIDING DOOR COMPANY」に引っ張られてしまったのでしょうか。

推測は外れてばかりではなく、ワカモレの中に拳銃が埋められているというわけのわからない写真を「確実性99.33％でワカモレ」ときっちり見抜くこともあります。これは思わず盛り上がるのもわかる気がします。