OpenAIが「AIで書かれた文章」を見抜くツールをリリース

OpenAIが2023年1月31日に、AIによって生成された文章を判別する「AI Text Classifier」を発表しました。

AI Text Classifier - OpenAI API
https://platform.openai.com/ai-text-classifier

New AI classifier for indicating AI-written text
https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text/

OpenAI releases tool to detect AI-written text
https://www.bleepingcomputer.com/news/technology/openai-releases-tool-to-detect-ai-written-text/

OpenAIがリリースした「AI Text Classifier」にアクセスすると、以下のように表示されます。

サンプルが用意されているので、さっそく試してみます。まず左の「Human-Written」を選んで「Submit」をクリックすると、「Classifierは、このテキストをAIが生成した可能性は極めて低いものだと判断します」と表示されました。このサンプルテキストは、童話作家のジェームス・マシュー・バリーが書いた「ピーターパン」の冒頭とのこと。つまり、人間が書いた文章なので正解というわけです。

同様に、ChatGPTが出力した文書の1つだというサンプルを判別させてみると、AIが作成したものだと判別できました。

日本語にも対応しています。試しに、「GIGAZINEについて」の文章を入力したところ、「AIが生成した可能性は低い」と判断されました。

続いて、AIが生成した文章で試すためにChatGPTに文章を生成させました。

1000文字以上という条件を満たすため、2回に分けて出力させたものをつなげて送信しました。すると、「AIが生成した可能性が高い」と判断されました。

OpenAIによると、英語で行ったテストによる評価では、AIによって書かれたテキストの26％を「AIで書かれた可能性が高い」と正しく識別できた一方で、人間が書いたテキストを誤って「AIで書かれたもの」と判別してしまうケースも9％あったとのこと。また、AIが出力した文章に手を加えることで検出を回避できてしまうことが確認されているほか、英語以外の言語で使用すると大幅に精度が落ちるという制限もあります。

そのため、OpenAIは特に教育者に対して、学生がAIでカンニングしたり論文を代筆させたりしたかなど、学業上の不正にAIを使用したかを判別する上での単一の証拠としてAI Text Classifierを用いるべきではないと警告しています。

AI Text Classifierについて取り上げたIT系ニュースサイトのBleepingComputerは、「このツールの検知率は、時間をかけてさらなるデータでトレーニングされることで向上していくと思われます。しかし、今のところAIが作成したコンテンツを検出する上で信頼できるツールではありません」と述べました。