「危険すぎる」と言われたAIの自動文章作成ツール「GPT-2」のモデルが新たに公開へ

by duallogic

AIによる文章生成ツール「GPT-2」はあまりにも高度な文章が作成できることから、「危険すぎる」と判断され公開が延期されていました。2019年2月に小型モデル、5月に中型モデルと、段階的に公開されていたGPT-2でしたが、新たに7億4700万個のパラメーターを持つより大きなモデルが公開されています。

GPT-2: 6-Month Follow-Up
https://openai.com/blog/gpt-2-6-month-follow-up/

GPT_2_August_Report.pdf
(PDFファイル)https://d4mucfpksywv.cloudfront.net/GPT_2_August_Report.pdf

OpenAIは2019年2月にテキスト生成用のAIモデル「GPT-2」を開発しましたが、あまりにも高度な文章が作成されてしまうため、「悪用による大きなリスクが生まれる」「危険すぎる」と判断したOpenAIはGPT2の詳細発表を延期しました。このため2月の発表では開発された4つのモデル全てが公開されることなく、最も小さな1億2400万パラメーターのモデルだけをリリースしました、その後、5月に3億5500万個の中型パラメーターモデルを発表しています。

OpenAIのこの判断は大きな話題となり、「延期は間違いだった」と専門家からの指摘も受けています。また、2019年3月にOpenAIがMicrosoftから10億ドル(約1100億円)の出資を受け、新会社を立ち上げたことから、単に注目を集めるためのスタントだったのではないかという見方もあります。

このような流れの中で、現地時間の2019年8月20日、OpenAIは7億4700万個のパラメーターを持つGPT-2を発表しました。一方で15億のパラメーターを持つ最大モデルについてはまだ発表されていません。OpenAIはGPT-2に関してオープンソースの法的契約も発表しており、いくつかの企業とモデル共有パートナーシップを結びだしていることも明らかにしています。

by Dung Anh

発表の中でOpenAIは公開を延期した理由について「『首尾一貫した文章を生成する確実性』といったディメンションのパフォーマンスは、モデルサイズと共に改良されていく傾向があります。私たちが4つのGPT-2モデルを同時公開しないことを決めたのは、より大きなモデルが誤用されることを懸念したためです。段階的に公開していくことで、リスク分析が可能になり、小さなモデルから得た知見をより大きなモデルに取り入れることができました」と述べています。

2019年8月2日に発表されたコーネル大学の最新調査では、GPT-2が生成した文章を読んだ人の70％が文章をニューヨーク・タイムズの記事だと誤解したという結果が出ています。このような調査結果から、OpenAIは言語モデルの発表について非常に慎重な姿勢を取っているとのこと。

GPT-2が悪用されないように、OpenAIはセキュリティ専門家と協力し、人間によるGPT-2の使用を監視していくとしており、「偏見や誤使用の可能性を自動検知する研究を行っていく」と述べています。また今後、GPT-2のようなモデルを安全にリリースしていくため、オレゴン大学、テキサス大学オースティン校、ミドルベリー国際大学院、コーネル大学とパートナーシップを結んだことも発表しました。

なお、7億4700万個のパラメーターを持つGPT-2のコードベースは以下から確認可能です。

GitHub - openai/gpt-2: Code for the paper "Language Models are Unsupervised Multitask Learners"
https://github.com/openai/gpt-2