「インターネットミーム」の攻撃的なメッセージをAIが解釈して抽出する「Rosetta」をFacebookが導入

静止画やGIFアニメーション画像に文字をのせて拡散させるInternet Meme(インターネット・ミーム)の中には笑いを誘うものから政治的なもの、さらには他人を攻撃するミームなどが存在します。Facebookでは、そのような悪意のあるミームをAIを使って検知することが可能なシステム「Rosetta」を開発して導入していることが発表されました。

Rosetta: Understanding text in images and videos with machine learning – Facebook Code
https://code.fb.com/ai-research/rosetta-understanding-text-in-images-and-videos-with-machine-learning/

Facebook is making AI that can identify offensive memes - The Verge
https://www.theverge.com/2018/9/11/17846512/facebook-rosetta-meme-machine-learning-text-recognition-hate-speech

Facebookが導入したRosettaは、Facebookおよび傘下のInstagram上に存在する画像や動画ファイルのフレームなどをAIが解析して、そこに記されている悪意のあるメッセージを見つけ出すという大規模システム。従来はOCR技術を用いて画像から文字を抽出することが可能でしたが、その文字が示す意味を理解することはできていませんでした。Rosettaは画像や動画から文字を抽出し、その文字が意味している内容を理解することで問題を含んでいそうなインターネット・ミームを見つけ出すことを可能にしています。その能力は、実に1日あたり10億以上のデータを処理可能だとのこと。

Rosettaは大きく分けて「Detection(探知)」と「Recognition(認識)」の2つの仕組みから成り立っているとのこと。Detectionでは畳み込みニューラルネットワーク(CNN)を発展させたFaster R-CNNを用い、「画像の中で文字が含まれていそうな部分を信頼度スコアの提案(Proposal)」→「文字かどうかの判定」→「文字の抽出」という手順でデータに含まれている文字を抜き出します。

RecognitionではResNet18アーキテクチャのCNNをベースにしたモデルを用い、文字を単語として認識する仕組みが用いられています。

このモデルではまず、5文字程度の短い単語を使った認識のトレーニングが行われ、次いで6文字、7文字とトレーニングが拡大されていくようになっているとのこと。

Rosettaは英語以外の言語にも対応しており、スペイン語などのほかアラビア語族などの言語にも対応していると発表されています。

Facebookではこの仕組みを活用することで、ヘイトスピーチなどを禁じた同社のポリシーに反するコンテンツをプラットフォーム上から排除することを目指しているとのこと。その一方で、同様の仕組みで画像から情報を抽出することでユーザーの関心事を把握し、ニュースフィードなどに反映させる可能性をThe Vergeは指摘しています。