高度な画像認識AIは手書きの文字やステッカーなどの「敵対的な画像」で簡単にだまされてしまう危険性

人工知能(AI)で画像に写っている人や物を自動で見分けることで、これまで人間にしかできなかったさまざまな作業を機械でもできるようになりました。しかし、最先端のAIですら、手書きのメモだけで簡単にだませてしまうことが判明。このような画像認識AIの思わぬ弱点を、IT系ニュースサイトのThe Vergeが指摘しています。

OpenAI’s state-of-the-art machine vision AI is fooled by handwritten notes - The Verge
https://www.theverge.com/2021/3/8/22319173/openai-machine-vision-adversarial-typographic-attacka-clip-multimodal-neuron

AI開発研究所であるOpenAIで開発されている画像分類モデル「CLIP」を発表しました。CLIPは画像だけではなく、自然言語からも画像表現を学習していくという部分が大きな特徴。「『リンゴ』という文字を見て、リンゴのイメージを思い浮かべる」という人間には当たり前の思考が、AIにも可能になります。

OpenAIが開発した画像認識AI「CLIP」の思考の特徴とは？ - GIGAZINE

しかし、文字からイメージを想起してタグ付けして分類に役立てるということは、文字がそのままイメージに直結してしまいやすいという弱点があります。そのためCLIPには、手書きの文字で簡単にAIをだますことができてしまう「活版印刷攻撃」が有効であると、OpenAIも認めています。

例えば、以下の画像の左ではちゃんとリンゴであることを認識できていますが、「iPod」という手書のメモを貼り付けた右のリンゴはほぼiPodとして認識されてしまっています。OpenAIは、この誤認識がCLIPは高度な抽象化による分類を行っているために起こっているとして、「抽象化の誤謬(ごびゅう)」と名付けています。

AIの画像認識をだます方法はこれまでにも多く研究されています。例えば、Googleの研究者は2018年に、画像認識AIをたった1枚のステッカーで混乱させる方法を発表。実際に1枚のステッカーを置くだけでAIにバナナをトースターだと誤認識させる実験が以下のムービーで確認できます。

Adversarial Patch - YouTube


また、カメラで撮影した周囲の映像から画像認識を行って自動運転を実行するテスラの自動運転システムに対して、白線を模したステッカーを道路に貼るだけで、車線を勝手に変更させることに成功したという報告も挙がっています。

自動運転モードになっているテスラを道路に貼った小さなステッカー1枚で勝手に車線変更させる実験が公開されており、以下のムービーの1分20秒あたりから見ることができます。

Tencent Keen Security Lab Experimental Security Research of Tesla Autopilot - YouTube


AIの画像認識をだます「敵対的な画像」の存在は、将来的にはそのまま画像認識を応用するシステムの脆弱性となり得ます。

さらに、Googleの画像認識AIが黒人をゴリラと認識して開発者が謝罪する事件もあったように、画像から自分でタグ付けすることは安易なイメージの結び付けにつながり、AIがバイアスを抱える可能性があります。

Google Photosが黒人をゴリラと認識した事件で開発者が謝罪 - GIGAZINE

実際に、CLIPでは「テロ」と「中東」を結び付けるニューロンや、「ラテンアメリカ」と「移民」を結び付けるニューロン、「浅黒い肌の人々」と「ゴリラ」を結び付けるニューロンが発見されています。OpenAIはこうしたバイアスにつながるような関連付けはほとんど可視化されないために事前の予測が難しく、修正が困難な場合があると述べています。

CLIPはあくまでも実験的なシステムであり、OpenAIは「我々のCLIPに対する理解はまだ発展途上です」とコメント。The Vergeは「私たちの生活をAIに委ねる前に、まずはAIを分解してその仕組みを理解する必要があります」と主張しました。