人間が「AIが書いた文章」を特定できる確率は約50％でコイントスと同じレベルに過ぎない

OpenAIのGPT-4やGoogleのPaLMなど、人間並みの精度で文章を生成できる大規模言語モデル(LLM)が登場し、AIが生成した文章なのか人間が生成した文章なのかを見分けることが難しくなっています。スタンフォード大学人間中心人工知能研究所(HAI)の研究チームが、文章がAIによって書かれたかどうかを人間が正確に特定できる確率は約50％だったという研究結果を発表しました。

Human heuristics for AI-generated language are flawed | PNAS
https://doi.org/10.1073/pnas.2208839120

Was this written by a human or AI? ¯＼_(ツ)_/¯
https://hai.stanford.edu/news/was-written-human-or-ai-tsu

AIが生成したテキストは、私たちの日常生活にどんどん入り込んできています。例えば、MicrosoftのBingにはChatGPTが搭載され、人間と対話する形で情報を検索することが可能になっています。

MicrosoftがChatGPTのアップグレード版AIを統合した新しい検索エンジンBingとブラウザEdgeを発表 - GIGAZINE

また、セキュリティ企業・McAfeeの調査によると、成人の31％が出会い系アプリのプロフィールにAIを使う予定があるか、すでに使用していると答えたそうです。

スタンフォード大学人文科学大学院のコミュニケーション学教授でありHAIの研究員でもあるジェフ・ハンコック氏の率いる研究チームは、デートアプリのOKCupid・民泊アプリのAirbnb・仕事探しアプリのGuru.comを使って、人間が「人間が書いた文章」か「AIが書いた文章」かをどれだけの精度で特定できるのかを調査しました。

4600人の被験者は、OKCupidとAirbnbとGuru.comでの文章サンプルを提示され、提示された文章が人間によって生成されたものなのか、それともAIによって生成されたものなのかを判断しました。その結果、人間は50～52％の精度でしか文章の書き手を特定できなかったことがわかりました。これは、投げたコインの裏表で判別するのとほぼ同じ確率です。

人間がAIによる文章と人間による文章を見分けることは難しいことがわかりましたが、一方で人間が単なる当てずっぽうで判断しているわけではないことが判明しました。例えば、「文法が正確で、一人称代名詞を使う」という特徴を持つ場合、人間が書いたものだと誤解されるケースがあったとのこと。他にも、家庭生活に言及したり、カジュアルな口語文を使ったりしている場合も、人間が書いたものだと誤解されることがあったそうです。

共同研究者であるモーリス・ヤケシュ氏は「私たちは皆同じように、欠陥のあるヒューリスティックに頼っていたのです」と述べています。

ハンコック氏は「人間よりも人間のように見えるAIを作ることができることが本当の懸念事項です。なぜなら、人間が持つ思い込みを利用するためにAIを最適化することができるからであり、機械が私たちよりも人間らしいと思わせ、人をだますリスクを生むためです」と述べています。

さらにハンコック氏は「AIが生成するコンテンツの量は、わずか数年で人間が生成するコンテンツを追い越してしまう可能性があり、そうなると我々の情報体系は本当に崩壊してしまうかもしれません。その結果、前提となる信頼が失われ、互いへの信頼が低下する可能性があります」と論じました。

研究チームは、人間とAIのテキストを区別するためのアイデアとして、AIの文章にクセをつけることを提案しています。例えば人間の場合でも、同じ言葉をしゃべっていても生まれ育った地域によって方言があり、言葉の使い方やアクセントが異なるため、話し方からその人の出身地がわかることがよくあります。これを応用し、AIの文章へのデジタル透かしとしてAIに独特の言い回しを導入することで、AIの生成物を見分けやすくするというアイデアです。

ハンコック氏は「私たちはしばしば技術に注目しますが、それを使って適応するのは私たち人間であるという事実を無視しています。私は、AIがどのように行使されるかをコントロールする方法を考え出し、規範を作り、さらにはネガティブな使い方を制限するような政策や法律を作成できるのではないかと期待しています」と述べました。