OpenAIが「危険すぎる」として文章作成AIの論文公開を延期したのは間違いだったと研究者が指摘

by ronymichaud

AIやロボット技術の悪用を防ぐために設立された非営利のAI研究組織であるOpenAIは、AIによる自動文章作成ツールについて「非常に高精度なテキストを出力するため、あまりにも危険すぎる」と述べ、技術的な論文公開を延期すると発表しました。そのOpenAIがとったスタンスに対し、スタンフォード大学の研究者であるHugh Zhang氏が、「AI技術のオープンソース文化を終結させる危険なものだ」と指摘しています。

Dear OpenAI: Please Open Source Your Language Model
https://thegradient.pub/openai-please-open-source-your-language-model/

2019年2月中旬、OpenAIは「GPT-2」と呼ばれる新しいテキスト生成用のAIモデルを開発したと発表しました。このGPT-2は非常に優れた文章作成AIになっているとのことで、研究者たちは「悪用された場合のリスクが非常に高い」と危惧しているとのこと。

AIによる自動文章作成ツールがあまりにも高精度のテキストを簡単に作り出してしまうため開発陣から「危険過ぎる」と問題視される - GIGAZINE

Zhang氏はGPT-2について、「OpenAIが素晴らしい成果を発表したことについては驚きに値しません」と述べており、近年のAI技術の進化はめざましいものがあるとしています。その一方で、今回の発表が大きなインパクトを持っていたのは「研究結果がスパムやフェイクニュースなどに悪用されるおそれがある」として、研究結果をオープンにしなかったOpenAIの慎重な決定にあると指摘しました。

この慎重な決断こそが、TwitterやReddit上でのAI倫理に関するさまざまな議論を呼び起こし、AI関連のメディアがこぞって「発表するには危険すぎるAIが開発された」と報じる結果となったとZhang氏は主張。OpenAIが自身の研究結果を悪用される心配をすることは正しいとした上で、Zhang氏はGPT-2をオープンソースにしないという決定には反対すると述べています。GPT-2のモデルを公開しないという措置は安全対策上必要ないものであり、AI研究の将来に悪影響を与えかねないとのこと。

by Matan Segev

Zhang氏は世界に悪影響を与えかねない技術には2種類あるとしています。1つは化学兵器や生物兵器、原爆などを含む「破壊的な技術」であり、もう1つがディープフェイクやPhotoshop、インターネットなどの「詐欺的な技術」であるとのこと。今回OpenAIが開発したGPT-2は後者の詐欺的な技術に含まれるだろうとZhang氏は述べています。

破壊的な技術から社会を保護するためには、兵器などに関する知識や技術の拡散を制限することが唯一の対策であるとZhang氏は主張。もちろん知識の拡散を完全に制限することは困難であり、科学技術の発展は急速であることから、危険な勢力が入手できるわずかな手がかりから原爆や化学兵器などの製造に成功する可能性もあります。しかし、人間が危険を回避するには破壊的な技術に関する情報を制限する以外になく、せめて原爆製造の知識や材料が手軽にインターネットで入手できないようにするなどの対策を取るしかありません。

一方で詐欺的な技術の場合、「技術の拡散を抑制するのではなく、人々に向けて最新技術の情報と可能性を周知する」という対策が取れるとZhang氏は述べています。直感に反するような対策ですが、一般の人々であっても最新技術による可能性を広く認識している場合、詐欺的な技術が力の大部分を喪失するとのこと。

核兵器に関する知識は核爆発から人々の身を守りませんが、「近年の合成音声技術は非常に高いレベルにある」という知識を持っていることで、オバマ大統領が中国語をしゃべっているムービーを見ても「これは本物のムービーではないだろう」と疑うことができます。また、Photoshopなどの写真編集技術について知っていれば、プーチン大統領がクマに乗っている写真を見ても「プーチン大統領は本当にクマに乗ることができる」と信じないで済むとのこと。

Photoshopは写真にさまざまな編集を加えることができる技術であり、悪用する方法はいくらでも考えられるにもかかわらず、今のところ社会を破壊していません。かつてカメラは事実を正確に映すものだと考えられており、その考えを逆手に取ったヨシフ・スターリンは印象操作のために写真の改ざんを行いました。

たとえばスターリンとニコライ・エジョフが写っているこの写真。

エジョフが粛清されたことにより、写真からは姿が消されてしまったとされています。

1988年にPhotoshopがリリースされた時、人々は悪意のある人々によって写真が改ざんされて、社会に大きな悪影響を及ぼすのではないかと心配していました。しかし、リリースから30年が経過した現在では高校生でもPhotoshopを操作し、社会に大きな混乱は発生していません。

Zhang氏はPhotoshopによる社会不安が発生しなかった理由として、「誰もがPhotoshopの存在と、Photoshopによってどのような操作ができるのかを知っているからです」と指摘しています。Photoshopによる写真の編集は「写真は改ざんすることのできない絶対的なものだ」と信じていた昔の人をだますことはできても、「写真は容易に編集可能だ」と知っている現代人に対してはその脅威を失ってしまうとのこと。

近年開発されているさまざまなAI技術に関しても、「人々はアポカリプスの到来を危険視しているかもしれませんが、私はこれらの技術がPhotoshopと同様の道をたどると考えています」とZhang氏は述べています。つまり、人々は最新技術について知ることで、目の前の出来事を疑うことができるのです。

by bruce mars

GPT-2は人間が書いた出だしの文章(Prompt)に続けて、AIが勝手にその続きの文章(Model)を書いてくれるというものです。Zhang氏はOpenAIが公開した内容から、例として1つのPromptとModelを挙げています。その例が以下の文章。

PROMPT: In a shocking finding, scientist discovered a herd of unicorns living in a remote, previously unexplored valley, in the Andes Mountains. Even more surprising to the researchers was the fact that the unicorns spoke perfect English.

人間が書いた出だしの文章：科学者がアンデス山脈の人里離れたところにある、これまで人々が探検してこなかった谷で、科学者がユニコーンの群れを発見するという衝撃の事実が判明しました。科学者が発見したさらに驚くべき点は、ユニコーンたちが完璧な英語を話すという事実です。

MODEL: The scientist named the population, after their distinctive horn, Ovid's Unicorn. These four-horned, silver-white unicorns were previously unknown to science. Now, after almost two centuries, the mystery of what sparked this odd phenomenon is finally solved.

AIが書いた続きの文章：科学者はその特徴的なツノにちなんで、その群れをオービッズ・ユニコーンと名付けました。4本のツノを持つ白銀のユニコーンは、これまで科学界に知られていませんでした。2世紀が経過した今では、話題となった奇妙な現象の謎も最終的に解決されました。

ここで注意してほしい点としてZhang氏が指摘しているのが、「AIが数回テキスト生成を実行した中で最もいいサンプルがModelとして掲載されている」点と、「人間が入力したPrompt自体も論証に有利なものを選別している」という点です。特に、「英語を話すユニコーン」という奇妙な話題を提示することで、通常は意味をなさないようなAIによる文章が、時として意味を成しているように見えてしまうとのこと。

それを考慮しても、この短いサンプルには「重大な文脈上の欠陥がある」とZhang氏は指摘。Modelの最初の文章では、ユニコーンのツノが1つであることを示唆しているにもかかわらず、2文目ではツノが4本あると述べられています。さらに、人間による書き出しでは「ユニコーンはそれまで存在が知られていなかった」とあるのに、AIは2世紀前からユニコーンが発見されていたと書いてしまっているのです。

「これはあら探しに見えるかもしれませんが、私はここにディープラーニングの重大な問題があると思います。つまり、GPT-2は自身が生成しているテキストの内容について、本当の意味で理解しているわけではないのです」とZhang氏は述べています。文章の意味を理解していないAIは、一見して有効そうな文章を生成することはできても、文脈まで合わせることは難しいとのこと。

by IvanPais

もちろんGPT-2がこれまでに作られた多くの文章作成AIよりも高精度だとZhang氏も認めていますが、人間レベルの文脈にはほど遠いとしています。今のところ、GPT-2がすぐに悪意のある人物によって活用され、フェイクニュースやスパムに使われる可能性は低いそうです。

Zhang氏はGPT-2の完全なモデルをオープンソース化までしなくてもいいと反論する人に対しでも、「この考えはいくつかの点で間違っています」と指摘。これまでのAI技術は、研究内容のオープンソース化によって爆発的な速度で進化しているとのことで、OpenAIが積極的に研究内容をオープンソース化していることは、間違いなくAI研究におけるオープンソース化の風潮を後押ししているそうです。もしもOpenAIが研究内容のオープンソース化をやめれば、ほかの研究機関もそれに追随して研究内容を非公開にする可能性が高まるとのこと。

また、研究内容のオープンソース化はほかの研究者が研究内容を調べることを可能にし、結果的に研究の正当性を保証するという効果もある上に、一般の人々に対するAI技術の理解を深める結果をもたらします。研究者自身が広く世の中に訴えなくても、研究内容に興味を持ったエンジニアがAI技術を使ったサービスや製品を作ることで、人々の知識は深まります。たとえばUberのエンジニアが作った、AIが架空の人物画像を簡単に生成する「This person does not exist」というサイトは、多くの人に「AIの画像生成技術はこのレベルにまで進化しているのか」と思わせることに成功しました。

この世界に存在しない人物の画像をワンタッチで簡単に生成できる「This person does not exist」 - GIGAZINE

Zhang氏はこれまでにOpenAIが数々の研究結果をオープンソース化し、AI研究の限界を押し広げてきたことについて賞賛しており、研究倫理について真剣に取り組む姿勢についても感謝を述べています。その一方で、技術の悪用を恐れてオープンソース化を断念するという決断は正しくないものであり、OpenAIが近い将来にGPT-2の研究内容をオープンソース化することを望んでいるとしました。