ただの花の絵をオバマ元大統領の顔だと誤認させる画像認識AIへの新しい攻撃方法「TnT」

ニューラルネットワークと深層学習の技術の進歩によって、顔認識や画像認識の精度が非常に高くなっています。しかし、ニューラルネットワークに敵対的な画像を認識させることで、顔認識システムにエラーを起こさせる攻撃方法が存在します。オーストラリアのアデレード大学の研究チームが、顔認識用ニューラルネットワークに対するUniversal NaTuralistic adversarial paTches(TnT)という新しい攻撃方法を発表しました。

[2111.09999] TnT Attacks! Universal Naturalistic Adversarial Patches Against Deep Neural Network Systems
https://arxiv.org/abs/2111.09999

Why Adversarial Image Attacks Are No Joke - Unite.AI
https://www.unite.ai/why-adversarial-image-attacks-are-no-joke/

以下のムービーは、コロンビア大学の「PubFig」というデータセットでトレーニングされた顔認識用畳み込みニューラルネットワーク「VGG-16」にTnTを使った実験の様子。

The effectiveness of an example flower TnT - PubFig - YouTube


バラク・オバマ元大統領の写真をカメラに映すと、VGG-16はその顔を認識し、オバマ元大統領であると判断しています。

そして、普通の男性を映すと、VGG-16は「John(一般男性)」だと判断しましたが……

男性の前に花の絵をかざすと、突如「オバマ元大統領である」という判断を下しました。

花の絵を引っ込めると、再びVGG-16は「Johnである」と判断しました。

これは、ニューラルネットワークの学習で使われているデータセットからVGG-16の認識に干渉するような画像を生成することで、顔認識システムのニューラルネットワークをだますことに成功した実例の1つです。研究者は、顔認識システムへの攻撃は、個々のデータセットや特定の機械学習アーキテクチャを批判するものではなく、画像認識AI開発のアーキテクチャ全体が持つ弱点をついたものであり、むしろデータセットやモデルを変更したり再学習したりするなどのシンプルな対処法では防御することはできないと述べています。

敵対的画像による攻撃の有効性に対しては、その攻撃が特定のデータセットや特定のモデル、またはその両方に特有のものであり、他のシステムに「一般化」できず、結果的に些細な脅威でしかないという批判が多くされています。

しかし、そもそも管理可能なデータセットが新規に用意されることは少なく、学習用の画像セットを作成するには高い開発コストがかかります。著名なデータセットの効果はすでに実証されており、「ゼロから始める」よりも既存のデータセットを利用する方がはるかに安価。よく使われているデータセットは、一企業では再現が困難なレベルの資金と人員で学界や産業界の前衛的な頭脳や組織によって維持・更新されているため、企業は著名なデータセットを何度も使いがちです。しかし、研究チームは「敵対的画像による攻撃は、オープンソースの機械学習だけでなく、十分に確立されたデータセットを再利用しようとする企業のAI開発文化によって可能になっています」と指摘しています。

研究チームは、「例えば花をオバマ元大統領と誤認させる方法については、いくつかの機械学習アーキテクチャの間で高い互換性があります。すでに導入されているディープニューラルネットワークだけではなく、将来的に導入されるディープニューラルネットワークについても、自然に見えるオブジェクトを使って認識を誤誘導させることができる可能性があるため、安全性とセキュリティに関する懸念が生じます」と述べています。このTnTに対する解決策として、データを集約せずに分散した状態で機械学習を行う「連合学習」や、学習時にデータを直接暗号化するなどの工夫が求められるとしています。