「文章生成AIによって作られたフェイクニュース」は本当に民主主義にとって危険なのか？

近年では非常に精度が高い文章を生成するAIが開発されており、「文章生成AIが海外掲示板のRedditで1週間誰にも気付かれず会話していた」「文章生成AIが書いた記事がソーシャルニュースサイトのトップに浮上した」といった事例も報告されています。そんな中、カナダのAI関連スタートアップであるCohereで大規模な言語モデルの安全性や責任について研究しているCooper Raterink氏が、「文章生成AIが作ったフェイクニュースが民主主義に与える実際の危険性」について解説しています。

Assessing the risks of language model “deepfakes” to democracy
https://techpolicy.press/assessing-the-risks-of-language-model-deepfakes-to-democracy/

Raterink氏は、2020年のアメリカ大統領選挙では「AIが生成したフェイクニュースが大きな影響を及ぼすのではないか」と専門家が懸念したにもかかわらず、実際にはほとんどAI製のフェイクニュースが暗躍することはなかったと指摘。実際に最も選挙結果に影響を与えたのは、SNSにおける知名度の高い政治的アカウントや草の根的な活動であり、フェイクニュースの拡散に寄与したのもこれらの存在でした。

「GPT-3」や「T5」といった高精度な文章を生成するAIへの懸念は根強いものの、悪意のある人物がこれらの文章生成AIを利用するにはいくつかの障害があるとのこと。Raterink氏はフェイクニュースを展開するために文章生成AIを用いる上での問題点として、以下のものを挙げています。

◆1：最先端の文章生成AIにアクセスしたりゼロからAIを訓練したりすることが難しい
2019年に非営利のAI研究組織であるOpenAIが発表した文章生成AI「GPT-2」は、あまりにも高精度のテキストを生成してしまうため開発陣から懸念の声が挙がりました。そこでGPT-2は機能を減らしたバージョンを段階的に公開し、実際にAIが利用されるケースをチェックしてから最終版をリリースするという対策を実施しました。

また、別の研究機関がAIを悪用したフェイクニュースを見破るAI「Grover」を開発するなど、研究者らはAIを用いたフェイクニュース対策に力を入れているため、フェイクニュースの拡散を狙う人物が文章生成AIを効果的に利用するのは困難だったとのこと。悪意のある人物が自らAIを訓練するという方法もありますが、これには高度な技術的経験や費用がかかるため、やはり現実的な選択肢ではないそうです。

◆2：文章生成AIの作り出すテキストは依然として精度が高くない
OpenAIが開発した文章生成AIの「GPT-3」が作り出したテキストは人間による識別が困難とされていますが、「人間をだますこと」を目的にした文章を生成した場合、AIが生成した文章を検出する「GLTR」などをだますことは難しくなるとのこと。AIが生成する文章はあくまでもトレーニングデータに基づくものであり、真に人間と類似した自然言語理解を持っているわけではないとも指摘されています。

◆3：プラットフォームがフェイクニュース阻止に多額の投資を行っている
フェイクニュースが拡散される主な場所はSNSなどのプラットフォームですが、主要なプラットフォームはスパムやフェイクニュースと戦うために多額の投資を行っています。FacebookやTwitterなどのプラットフォームが行う対策は、主にボットアカウントの作成などに焦点を当てたものであり、AIが生成した文章の精度による影響を受けません。そのため、いくら文章生成AIの精度が高くなろうとも、フェイクニュースを拡散するアカウントの作成や動作に不審な点がある限り、効果的な拡散は望めないとRaterink氏は指摘しています。

◆4：文章生成AIの脅威論には「前後の文脈」が欠けている
多くの研究が文章生成AIを悪用することの危険性を指摘していますが、実際にインターネット上のプラットフォームにおける文脈の中でAIを調査したものは多くありません。実際にAIがフェイクニュースを生成できたとしても、それが現状のプラットフォームにおける文脈を踏まえたものかどうかは別の話であり、SNSなどで効果的に機能するのかどうかも不透明です。

以上の点からRaterink氏は、今後より高精度な文章生成AIが開発されたとしても、フェイクニュースの拡散を狙う人物が文章生成AIを展開する価値はないかもしれないと指摘。実際に、2020年のアメリカ大統領選挙で知名度のある政治的アカウントや草の根運動がフェイクニュースの拡散に寄与したことを考慮すれば、文章生成AIよりもこれらのアカウントに投資した方が費用対効果が高いだろうとRaterink氏は述べています。

また、Raterink氏は文章生成AIを用いたフェイクニュースの生成について、一定の時間が経過すれば有効になる時限爆弾的なものではなく、規制する側との追いかけっことして捉えるべきだと主張しています。つまり、今後も文章生成AIの精度は向上していくものの、プラットフォームや規制当局、研究機関によるフェイクニュース対策も強化されていくため、単純に文章生成AIの精度が上がったからといってフェイクニュースの危険が増すわけではありません。

文章生成AIによるフェイクニュース対策として、Raterink氏は「フェイクニュースのコンテンツ自体ではなく配布するプラットフォームに焦点を当てる」「研究者間の積極的な倫理的合意」「一般の人々に対するメディアリテラシーの強化」といったものが有効だと考えています。一方、フェイクニュースを拡散する側としては、対策が万全な英語圏のコミュニティではなく、非英語圏のコミュニティを狙った方がフェイクニュースが拡散しやすいかもしれないとのこと。

Raterink氏は、「自動化されたフェイクニュースの脅威に関する現状に関する一般的な懸念は、今のところほとんど根拠がありません」と述べ、人々が目前の問題について正しい認識を持つことが重要だと主張。その一方で、フェイクニュースが民主主義に与える影響は深刻であり、規制側がフェイクニュース対策を進化させ続けることが必要だと訴えました。