MicrosoftのAI「Tay」がTwitterで不適切発言を連発し狂ってしまった理由とは？

Microsoftが開発した人工知能の「Tay」は、ユーザーが話しかけた内容に対して意味のある返事をするオンラインボットで、会話理解研究のために試験的にTwitter・GroupMe・Kikでリリースされました。しかし、悪意のあるユーザーたちによってTayは人種差別・性差別・暴力表現を教えられてしまい、不適切な発言を連発してリリースから約16時間後にサービスが停止されてしまうという事態になったのですが、なぜTayがサービス停止に追い込まれるほど狂ってしまったのか、金融機関でセキュリティデータの専門家を務め、ジョージ・メイソン大学計算社会科学部で博士号の肩書きを持つラッセル・トーマス氏がその原因に迫っています。

Exploring Possibility Space: Poor Software QA Is Root Cause of TAY-FAIL (Microsoft's AI Twitter Bot)
http://exploringpossibilityspace.blogspot.jp/2016/03/poor-software-qa-is-root-cause-of-tay.html

MicrosoftのTayが不適切発言を連発した一件については既に多くのメディアが報じており、その中には「この一件は、こういったタイプのAIがどのように動作するかを示している」としたWiredや「Tayはユーザーから学習するようにデザインされており、したがってTayの言動はユーザーの言動を反映させたものになる」とするTechRepublicのように、AIそのものを批判する報道もありました。しかし、トーマス氏は「特に今回のような特別なケースで、AIを非難するのは間違いです」と主張しています。

トーマス氏によると、Tayのリリースからほどなくして掲示板4chanの「/pol/」という板に「Tay - New AI from Microsoft」というスレッドが立てられました。「/pol/」は「Politically Incorrect(政治的に不正解)」というサブタイトルで、いわゆる荒らし行為が多発する板とのこと。Tayのスレッドが立てられると、住民たちはすぐにTayに対して荒らし行為を行い始めました。

Tayのリリース後すぐに始まったのが「間違った知識を直接教える」という荒らし行為。上述のWiredやTechRepublicの記事では、Tayに間違った知識を教える行為そのものが不適切発言の原因となったのではないかとされていますが、トーマス氏は荒らし行為そのものが直接の原因ではないとしています。以下の画像では、ユーザーがアドルフ・ヒトラーに関するTayの考えを引きだそうとしているものの、Tayは不適切発言を行っていません。トーマス氏は「この画像からわかるのは、間違った知識を教える荒らし行為が発生したリリース直後の時間帯でTayが不適切な発言をしていなかったことです」と述べています。

トーマス氏によると、Tayが狂ってしまった直接的な原因になったのは「repeat after me」というTayの隠された機能にあるとのこと。この機能の存在は、/pol/に立てられたTayのスレッドに投稿された以下のメッセージによって明らかにされたものです。メッセージには「Tayは『repeat after me』と言われると『okay』と返事をし、その後に返信された文章をツイートする」という、「repeat after me」の使用方法がPOCと共に投稿されていました。

「repeat after me」を悪用すればTayが不適切な発言を行うようになることが容易に予想され、同機能の存在はスレッド内で広まり以下の画像のようにTwitterでテストしてみるユーザーが多発。トーマス氏は調査を続け、「repeat after me」で使用された文章はTayの自然言語処理システムに追加され、これにより同じような言葉や表現が再利用されると予測。つまり、Tayはrepeat after meから学習した内容を、別の会話に活用していくというわけです。

その後の調査でトーマス氏は「Tayが『repeat after me』から学習した言葉を、そのまま別の会話で使用している証拠が見つからなかった」として、「Tayは『reapeat after me』が使われた場合のみ不適切発言を繰り返す」と1度は結論づけたのですが、さらに調査を進めると『repeat after me』なしでもTayが不適切発言を行っていたこともわかりました。とはいえトーマス氏によると、「repeat after me」がない場合におけるTayの不適切発言は自然言語処理で作られた典型的な文章構成に似ているとのことで、同氏はやはり「repeat after me」こそが今回の問題の原因ではないかと考えています。

Microsoftは公式ブログで、Tayが不適切発言を行うようになった原因は「特定の攻撃に対する重大な過失」にあるとしているのですが、トーマス氏は「『特定の攻撃に対する重大な過失』というのは荒らし行為に対するテストを十分に行わなかったということです」と主張。さらに、Microsoftが荒らし行為に対するQA(品質保証)を怠ったことが今回の一件の要因であり、「もし『repeat after me』がソフトウェアのルールに基づく行動として開発者により組み込まれているとすれば、QAで問題が発覚しなかったことや、repeat after meが削除されなかったことは説明がつきます」と話し、Tayが不適切発言を行った理由は「QAで削除されるべきだった『repeat after me』機能が明らかになってしまったことにある可能性が高い」としています。荒らし行為そのものでAIを混乱させることは不可能ではないとしながらも、Tayのケースでは荒らし行為そのものが原因だとはにわかに信じがたいとのことです。

なお、トーマス氏と同じように「ユーザーのツイートをリピートすることでTayは暴力的な発言をするようになった」とするメディアも複数あり、トーマス氏の分析には一理あるようです。