ChatGPTで書かれたテキストの検出ツールを盗用・剽窃検出サービスのTurnitinが開発中

OpenAIが開発した対話型チャットAI「ChatGPT」は、研究者がAI生成であると見分けられないような論文の要旨を書けるほど高い精度の文章生成力がある一方で、公式に注意喚起がなされているように、正確ではない情報をさもそれらしい内容で文章にしてくるという問題があります。この問題に対応するため、論文のコピペや盗用、剽窃を検出するツールを提供しているTurnitinが、ChatGPT製の文章を検出するツールを開発しているそうです。

Universities offered software that detects ChatGPT essays • The Register
https://www.theregister.com/2023/01/23/turnitin_chatgpt_detector/

ニュースサイト・The Registerによれば、TurnitinはChatGPTに用いられている言語モデルである「GPT-3」が出てきたときから、AI製テキストを検出するツールの開発をひそかに進めてきたそうです。

TurnitinのAI担当バイスプレジデントであるエリック・ワン氏は、AIの生成した文章について「最も可能性が高い場所で、最も可能性が高い単語を用いています。これは、言語を構築する方法が我々とは大きく異なるということです」と違いを述べました。

ワン氏によれば、人間は無意識のうちに目を左右に動かして、単語間・段落間・ページ間を行ったり来たりしながら文章を読んでいて、未来の心の動きまで考えますが、ChatGPTは前の文に基づいて新しい単語を生成しているだけなので、人間の文章にみられる柔軟性がないとのこと。

Turnitinが開発しているツールは、特定のテキストスニペット(断片)でAIが生成する可能性が高い単語を予測。人間は特定の場所で特定の単語を一貫して使用する傾向がないため、AI製テキストであることが検出できるという仕組みです。

ただ、検出ツールをどのような形で提供するかについてはまだ検討中で、テキストの分量のうちどれぐらいがAI生成かを示すパーセンテージを表示したり、精度評価のためにツールの予測信頼度を低・中・高で示すなどの工夫が考えられています。

なお、このツールは教育機関でのChatGPT使用の禁止を目指して設計されたものではなく、教師と学生がお互いを信頼し、また、テクノロジーを信頼できるようにするものだとのこと。

ワン氏は「コンテンツの作成方法と作業方法に大きな変化があり、それが学習の仕方にも及んでいると思います。教え方について、長期的に考える必要があります。この技術が存在する世界で、我々はいかに学んでいくのか。瓶の中に魔人を戻すことはできません。これらの技術の使用を可視化するツールは、信頼と透明性の基本的な構成要素なので、価値あるものになるでしょう」と述べています。