インターネット上の文章にわざと誤字脱字をまぎれこませることでAIを狂わせるサイバー攻撃の可能性

画像や文章の自動生成、顔認識、ゲームのプレイなど、人間の行動を模倣するAIを開発するためには、膨大なデータセットで学習する必要があります。データセットの内容にはインターネットに存在する画像や文章が使われるケースが多くありますが、このインターネット上にある文章に含まれる誤字がAIの発達に大きな影響を及ぼすと、IBMリサーチ・Amazon・テキサス大学の研究者が発表しています。

[1812.00151] Discrete Adversarial Attacks and Submodular Optimization with Applications to Text Classification

https://doi.org/10.48550/arXiv.1812.00151

If AI can read, then plain text can be weaponized – TechTalks
https://bdtechtalks.com/2019/04/02/ai-nlp-paraphrasing-adversarial-attacks/

ディープラーニングの進歩により、AIはこれまで人間のオペレーターでなければできなかった文章入力などの作業を実行きるようになりました。テキストコンテンツの処理や重要な意思決定をAIアルゴリズムに委ねる企業も複数登場しています。

ディープラーニングを構成するニューラルネットワークは、何千何百万もの例から学習することで精度を高めます。これは、プログラマーが動作をコードで定義していた古典的な人工知能開発とは一線を画すものです。膨大なデータセットから学習させるというアプローチは、画像解析や音声認識、自然言語処理などの「ルールが曖昧で複雑なタスク」をAIに解決させるのに向いています。

しかし、人間側はニューラルネットワークの動作をほとんど制御できないので、その内部構造は開発者でも理解できないことがよくあります。また、ディープラーニングアルゴリズムは非常に複雑でありながら統計的なメカニズムなので、一見すると人間と同じような処理を行っているようで、実際は人間とは全く異なるプロセスとなっています。

もしAIが学習に使うデータセットの内容に問題があると、結果としてAIのアルゴリズムにも大きな影響が出てしまいます。例えば、イギリスの警察が押収したデバイスに犯罪の証拠となる写真が含まれているかどうかを自動で判別するため、児童虐待の写真をAIに学習させた結果、砂漠の画像をヌード画像と判断するという問題が生まれてしまったという例が報告されています。

「児童ポルノを検出するAI」で警察をトラウマから救う計画が進行中 - GIGAZINE

AIの動作に大きな影響を及ぼすようなデータセットの小さな変更を「敵対的事例」と呼びます。研究チームはこの敵対的事例がAIに対するサイバー攻撃に変わる可能性を指摘しています。

敵対的事例を利用したサイバー攻撃の1つが「パラフレーズ攻撃」です。これは、人間が読んでも気づかないような変更を学習させる文章に加えることで、自然言語処理モデルの動作を狂わせるというものです。研究チームが実際に、AIに学習させるデータセットの論文のたった1文を書き換えたところ、対象となるAIの挙動に変化が認められたそうです。

このパラフレーズ攻撃の問題は、人間に察知されにくいというところです。人間は文章にある小さな誤字や脱字を勝手に頭の中で補って読むことができるため、AIよりも鈍感です。研究チームが修正前の文章と修正後の文章を人間に見せたところ、どの部分に違いがあるのかはほとんど判別されなかったとのこと。研究チームは「人間は毎日誤字や脱字に対処しているため、パラフレーズ攻撃を検出しようとするのは難しいものがあります。私たちが誤入力と検知できるのは、実際の人間が書く支離滅裂な文章です」と述べています。

研究者は、AIモデルを敵対的事例から守る方法の1つとして、正しいデータセットとラベルで再トレーニングすることだと述べています。また、敵対的事例で学習してから正しいデータセットで再トレーニングすることで、モデルがパラフレーズ攻撃に対して堅牢(けんろう)になるだけでなく、より正確で汎用性の高いものになることがわかったそうです。

研究チームは「2000年代初頭にスパムメールが流行したのと同じように、現代でも同じようなことが起こり、懸念事項となるでしょう。敵対的事例を使った攻撃を使うことで、AIに民主主義に反する働きをさせて、政治的な理由でコミュニティ全体を炎上させることもできます。このような問題によって、新しいセキュリティが求められることになるでしょう。企業がAIによる自動化と拡張性を重視するあまり、従来のセキュリティと同じくらい、この問題にもコストをかけなくなるのではないかと心配しています」とコメントしています。