「画像認識機能を誤認させる攻撃」を科学者が実証、自動運転の脅威となる可能性

自動運転システムに搭載された画像認識システムは、道路標識などを自動で判別してくれる便利なもの。しかし、科学者らがこのシステムに対する攻撃が行われる可能性を考慮して実験を行った結果、「道路標識に特殊な光線を照射することでシステムに誤認させることができる」ということを実証しました。

Optical Adversarial Attack
https://arxiv.org/abs/2108.06247v2

Optical Adversarial Attack Can Change the Meaning of Road Signs - Unite.AI
https://www.unite.ai/optical-adversarial-attack-can-change-the-meaning-of-road-signs/

パデュー大学のAbhiram Gnanasambandam氏らは衣類やバスケットボールのように凹凸のある物体や道路標識のように平らな物体に対し、ノイズの混ざった光線を照射して機械学習システムがどう認識するかを確かめる実験を実施しました。この光線の照射を、Gnanasambandam氏らは「OPtical ADversarial Attack(OPAD：光学的敵対的攻撃)」と名付けました。

実験の一例が以下。Gnanasambandam氏らによると、バスケットボールはほとんどの状況で正しく認識されたものの、逆光などの環境的要因を補正してOPADを行った場合のみ「盾」と認識されたとのこと。

また、「STOP」と表示された一時停止標識にOPADを行うことで、システムに「Speed 30」という制限速度標識であると認識させることにも成功しました。

Gnanasambandam氏らの実験では、64回行ったOPADのうち、31回でシステムを誤認させることに成功しました。Gnanasambandam氏らは「凹凸のある物体でOPADを成功させるのは難しいですが、平らな面のある物体はOPADにとって理想的です」と述べました。また、ISO感度を上げて光量を増やすとシステムの認識精度も上がったことから、OPADは周囲が暗い夜間にのみ機能する可能性があるとのことです。

今回の実験では、攻撃者がシステムの学習モデルにアクセスできた場合と、アクセスできずに自身で学習を行った場合を想定して行い、両方で成功したとのこと。ただし、実験に使用した画像認識システムはオープンソースのシステムであり、企業が独自に開発するシステムとは異なることから、市販のシステムにOPADが成功するとは限らないとのことです。