「危険すぎる」と話題の文章生成AI「GPT-2」の最新版がリリース、実際に使えるデモサイトも登場

by Suzy Hazelwood

人工知能を研究する非営利組織のOpenAIが開発したAIによる文章生成ツール「GPT-2」は、高精度のテキストを簡単に自動生成できるといわれており、開発陣が「あまりにも危険過ぎる」と危惧するあまり論文公開が延期される事態にまで発展しました。そんなGPT-2は2019年2月、5月、8月と段階的にパラメーターを増やしたモデルが公開されてきましたが、ついに15億個ものパラメーターを持つ最新版がリリースされました。

GPT-2: 1.5B Release
https://openai.com/blog/gpt-2-1-5b-release/

GPT_2_Report.pdf
(PDFファイル)https://d4mucfpksywv.cloudfront.net/papers/GPT_2_Report.pdf

OpenAIはGPT-2が非常に高度な文章を生成するために悪用されるリスクがあると判断し、開発した4つのモデル全てを一度に公開することを控えました。その代わり、2019年2月、5月、8月と段階的にパラメーターを増やしたモデルを公開してきており、今回公開された15億個のパラメーターを持つGPT-2が、GPT-2の段階的リリースにおける最後のモデルとなるとOpenAIは述べています。

コーネル大学の研究チームはOpenAIに協力し、GPT-2が生成する文章の精度を最大で「10」となる信頼性スコアで測定するため、人間を被験者として調査を行いました。その結果、2019年5月にリリースされた中程度(パラメーターが3億5500万個)のモデルの信頼性スコアは「6.07」、8月にリリースされた大型モデル(パラメーターが7億7400万個)の信頼性スコアは「6.72」でした。そして今回リリースされた最新モデルの信頼性スコアは「6.91」とのことで、中程度のモデルより大きく上昇し、大型モデルをわずかに上回る結果となりました。

by Ree

OpenAIは今回のリリースと共に、GPT-2の危険性についても指摘しています。まず、「GPT-2は悪用のために微調整できます」とOpenAIは認めており、ミドルベリー大学のテロ・過激主義・テロ対策センター(CTEC)によると、GPT-2を白人優越主義・マルクス主義・イスラムのジハード主義・アナーキズムという4つのイデオロギーに対応するよう調整し、プロパガンダ文章を生成させることができるとのこと。

これに対し、OpenAIはGPT-2によって生成された文章を検出するためのモデルを開発しており、すでにGPT-2の最新リリースモデルの文章を95％近い精度で検出可能だそうです。一方、このモデルは単独で運用するに足るものではなく、メタデータベースのアプローチや人間の判断などと組みあわせ、より検出精度を高める必要があるとOpenAIは考えています。

「GPT-2が何者かに悪用されるのではないか」という懸念は大きかったものの、2019年11月5日のリリース時点では、これまでにリリースしたGPT-2のモデルが実際に悪用された証拠は見つかっていないとのこと。しかし、出力の信頼性が向上するにつれてGPT-2のような文章生成ツールが悪用される可能性は高くなり、開発したOpenAIであっても全ての悪用に気づくことはできないと認めました。

by Soumil Kumar

また、実際にGPT-2を利用して文章を生成させることができる「Text Synth」というウェブサイトも登場しており、GPT-2がどれほどの精度を持つのかを実際にチェックしてみることができます。

Text Synth
http://textsynth.org/

Text Synthでは、ユーザーが入力した文章に続けてGPT-2が自動で文章を生成してくれるとのこと。試しに「A famed novelist well-known for(～で有名な小説家)」という文章を入力して、下部の「Complete Text」をクリック。

すると、ゆっくりとしたスピードですが、画面下部に入力した文章の続きが自動で生成されていきます。

最終的に出力された文章がこれ。

「A famed novelist well-known for its literary realism, the author was an admirer of his own work as well as those of some of his peers. He would read his poems, especially the great French one, Les Prouvés de l'Oeil (or "Tales of the Old Road") in the course of his morning walk. He was fond of the novel of his friend and fellow writer, Jean Genet, which he wrote during a stay in Genet's home. And in his youth he had been very close to one of his favourite writers, Louis Aragon, whom he read in his youth as the young man began to become more and more interested in the arts.(文学的なリアリズムで有名な小説家である著者は、彼の仲間と同様に自分の作品のファンでした。彼は朝の散歩中に、特に偉大なフランスの詩である『Les Prouvés de l'Oeil(または古い道の物語)』を読みました。彼は友人であり仲間の小説家であるJean Genetの家に滞在中に書いた、Genetの小説が好きでした。彼が若かった頃、彼の大好きな小説家であり若い頃によく読んだLouis Aragonと非常に親しかったので、若い彼は芸術にますます興味を持ちました」と、文脈は少し乱れているものの、意味が通る文章が生成されています。

なお、Text Synthではたとえ同じ文章を入力したとしても、試行ごとに出力される文章は変化します。先ほどと同様に「A famed novelist well-known for」と入力して再度文章を生成させたところ、今度は「A famed novelist well-known for his love of the novel, but who is also considered one of the country's leading poets...」と続きました。

別の文章を入力すれば、また新たに文章が自動で生成されました。生成される文章は確かに文章として成り立っているものの、文脈に関しては違和感が多い印象です。

「Select an example」をクリックすると、適当な文章の例も用意されているため、さまざまな候補から選択して文章を生成させることも可能。

なお、GPT-2のコードベースは以下から確認可能です。

GitHub - openai/gpt-2: Code for the paper "Language Models are Unsupervised Multitask Learners"
https://github.com/openai/gpt-2