人間と見分けがつかないほど自然な文章を書けるAI「GPT-3」の改良版AI「InstructGPT」一般公開、詩も執筆可能

文章生成AI「GPT-3」はオンライン掲示板で人間とバレずに1週間会話できるほど違和感の少ない文章を生成できることで知られており、Microsoftのプラットフォームに採用されるなど大きな注目を集めています。一方でGPT-3には反イスラム教的なバイアスが存在することが指摘されるなど、生成される文章に偏りがあることも分かっています。そんなGPT-3の学習モデルを改良して偏りを抑えつつ文章生成精度も向上させた文章生成AI「InstructGPT」の一般提供が2022年1月27日に始まりました。

Aligning Language Models to Follow Instructions
https://openai.com/blog/instruction-following/

OpenAI launches new GPT-3 model despite continued toxic tendencies - Protocol — The people, power and politics of tech
https://www.protocol.com/enterprise/openai-gptinstruct

InstructGPTはGPT-3の開発元であるOpenAIがGPT-3の学習モデルを改良して作り出した文章生成AIです。OpenAIによると、GPT-3はインターネット上の大規模なデータセットから単語を選択しているため「真実ではない文章」「有毒な文章」「攻撃的な文章」を生成する傾向があったとのこと。InstructGPTは、GPT-3の学習モデルに人間によるフィードバックを導入することで上記の問題の解決を目指した文章生成AIです。

以下のグラフはInstructGPT(青)とGPT-3(黒)が生成した文章の品質に対する人間の評価を示しています。縦軸は評価、横軸は学習に用いられたデータの量を示しており、GPT-3は「GPT：未調整のGPT-3」「GPT(prompted)：プロンプト(例示)を与えたGPT-3」「Supervised Fine-Tuning：教師あり学習で調整されたGPT-3」の3つの条件で試験されています。グラフを見ると、InstructGPTはどの条件のGPT-3よりも高いスコアを記録していることが分かります。

OpenAIが公開したInstructGPTとGPT-3が生成する文章の比較の一例はこんな感じ。両AIに「6歳児に月面着陸について少ない文で説明してください」という指示を与えたところ、GPT-3は「6歳児に重力について説明してください」「6歳児に相対性理論について少しの文で説明してください」「6歳児にビッグバンの理論について説明してください」「6歳児に進化について説明してください」と、「宇宙や科学に関連する4つの文」を生成してしまいましたが、InstructGPTは「人々が月に行き、そこで見たものの写真を撮影し、私たちがそれらを見られるように地球に持ち帰りました」と、指示に合った文章を生成しています。

「賢いカエルについての短い詩を書いてください」という指示の場合、GPT-3が指示に即さない短文を3つ生成してしまったのに対し、InstructGPTは詩として読める形式の文章を生成しています。

上述の通り、InstructGPTはGPT-3と比べて違和感の少ない文章を生成でき、有害な文章の生成率も減少しています。しかし、InstructGPTの学習にフィードバックする人間には属する文化や集団によるバイアスが存在していることから、OpenAIは「InstructGPTは、依然として有害で偏った文章を生成し、ウソの事実を作り上げ、指示が無い場合でも性的・暴力的なコンテンツを生成します」と述べています。

InstructGPTは記事作成時点ではOpenAIの文章生成APIのデフォルト言語モデルとなっています。また、OpenAIは今後も言語モデルの改善に取り組む意向を示しています。