「GPT-5が生成した超短編小説」と「経験豊富なプロ作家が書いた超短編小説」はほとんど区別できないというテスト結果

生成AIのパフォーマンスが急速に成長する中で、「いつの日か人間のクリエイターはAIに置き換えられてしまうのではないか」という懸念も強まっています。ファンタジー小説家でありAI分野の研究者でもあったマーク・ローレンス氏が、OpenAIの「GPT-5」で生成した超短編小説と経験豊富なプロ作家が書いた超短編小説を合計8編用意し、ブログの読者に「どれがAI生成だと思うか」を投票してもらうというテストの結果を発表しました。

Mark Lawrence: The AI vs authors results! (part 2)
https://mark---lawrence.blogspot.com/2025/08/the-ai-vs-authors-results-part-2.html

ローレンス氏は2023年に、「作家4人とGPT-4にそれぞれ短編のフィクション小説を書かせて、人々が見抜けるかどうかをテストする」という試みを行いました。当時の時点で、読者は人間の小説家とAIを見分けるのに失敗することがあり、10作品中でトップ3の高評価を受けた作品のうち、2作はAIが生成した小説でした。

今回ローレンス氏は、OpenAIがGPT-5をリリースしたことを受けて当時のテストを再現し、読者たちがAIと人間の小説家を見分けられるのかどうかを調べました。なお、これらは正式な科学的研究ではなく、調査の範囲も限定されていることをローレンス氏は認めています。

テストでは英語で約350語、日本語に訳すとおよそ1000字未満という超短編小説(ショートショート)が8編用意され、ローレンス氏のブログ読者がそれぞれの短編小説を読み、どれがAI生成でどれが人間のプロ作家によるものなのかを判断しました。

短編小説のテーマは「悪魔」であり、AIには「悪魔をテーマにしたフィクションを書いてください」という指示に加え、バラエティを生み出すためにトーンや設定に関する簡潔な提案も与えられたとのこと。なお、プロ作家はローレンス氏とロビン・ホブ氏、ジャニー・ワーツ氏、クリスチャン・キャメロン氏といういずれも経験豊富なファンタジー小説家でした。

ローレンス氏は、一般的にプロ作家はフラッシュフィクションのような超短編小説を書くことはなく、数万字を超える中編や長編小説を専門に執筆していると指摘。また、反対にChatGPTのような生成AIは長い小説を書くとパフォーマンスが低下しやすくなる一方、超短編小説は得意としているとのこと。それでも、プロ作家らはいずれも物語の執筆経験が豊富であり、作品も軽率に書かれたわけではないと主張しています。

実際にブログ読者へ出題された超短編小説は、以下の記事に掲載されています。

Mark Lawrence: So ... is AI writing any good? .... PART 2!
https://mark---lawrence.blogspot.com/2025/08/so-is-ai-writing-any-good-part-2.html

ブログには超短編小説が8編投稿され、読者はそれぞれの作品について評価しました。その結果、最初の作品には964票の回答があり、最後の作品になっても474票の回答が得られたとのこと。

投票結果を集計した図が以下。左の棒グラフが「人間によって書かれたと思う(緑色)」「AIによって生成されたと思う(赤色)」の投票割合を示しており、真ん中の「Decision」の下に投票者の回答でどちらが優勢だったかが記され、右の「Truth」の下にその小説が人間によって書かれたもの(緑色)か、AIによって生成されたもの(赤色)かが書いてあります。読者全体として正答できたのはStory2・6・7の3編のみで、残りは誤答か、どちらにも同じくらい票が入ったという結果になりました。

また、作品ごとにどれほど面白かったかをスコア付けしてもらった結果が以下。緑色の丸が「人間によって書かれた作品」、赤枠で内側に緑色が塗られている丸が「AIによって生成されたが人間によって書かれたと思われた作品」、赤枠で内側に赤色が塗られている丸が「AIによって生成され、正しくAIによって生成されたと思われた作品」、赤枠で内側が白い丸が「AIによって生成されたが、AI生成と人間の作品の両方に同じくらい票が入った作品」となっています。ローレンス氏は、「残念なことに、AIのスコアは私たちよりも高くなりました。最も評価の高いストーリーがAIの作品だっただけでなく、平均スコアもAIの方が高かったのです」と述べています。

今回のテスト結果からローレンス氏は、超短編のファンタジー小説という作品に関しては、平均的な読者はAIと人間の区別が付かないようだと結論付けました。その一方で、もし出題されたのが超短編小説ではなく、「2万語(日本語に訳しておよそ4万字弱)の中編小説」だった場合、100％プロ作家にとって有利な結果が得られたはずだとも主張しています。

ローレンス氏は、AIが生成したコンテンツが人間のアーティストと競い合ったり、大衆を欺いて販売されたりする世界になるべきではないものの、すでに一部の人々はAIに書かせた本を売ろうとしていると指摘。ローレンス氏は「未来が恐ろしいように感じられますが、創造的な芸術の分野においてはAIがすぐに壁にぶつかり、人類に利益をもたらすタスクに努力が向けられることを願っています」と述べました。