AIが生成した文章を検出するツールの誤検知で「AIを使って課題のエッセイを作成した」と疑われて0点になったという事例

対話型AIのChatGPTは非常に自然な文章を生成できるため幅広い分野で活用できる一方で、教育面でChatGPTが学習や研究を侵害する恐れから、ニューヨーク市が生徒と教師によるChatGPTの利用を全面禁止したり、ChatGPTなどのAIで科学論文を書くことが国際会議で禁止されたりと、さまざまな動きが見られています。そのような中で、エッセイの課題に対して教師が「AIが生成した文章を検出するツール」を使用したところ、100％人力で執筆したエッセイが「AIを使って書かれた」として0点になったという学生の体験を、学生の親であるfailnaut氏がツイートして話題になっています。

自然な会話文を作成できるChatGPTの能力は非常に高く、医師免許試験や経営学修士課程の試験に合格できる等の事例が報告されています。教育の現場でChatGPTを使うことの意義を問う調査では、アメリカのスタンフォード大学の学生のうちおよそ17％が「課題または試験にChatGPTを使用している」と回答しています。17％のうち大多数はアイデアの捻出や検討のためにChatGPTを用いましたが、約5％はChatGPTが出力したものを編集せずにそのまま提出したとのこと。

学生の17％が課題または試験にChatGPTを使っていると回答 - GIGAZINE

ChatGPTの教育現場での使用を禁止する動きもありますが、ChatGPTは学習においても有用なツールと考える声もあり、「禁止するのではなく使い方を教えるべき」という指摘や、学生教育に「AIとどう向き合うか」という教育を取り入れる試みも行われています。

AIを禁止するのではなく「どのように使いどのように評価するか」を学生教育に取り入れる試み - GIGAZINE

ChatGPTなどのAIツールの使用をNGにする場合でも、正しい使い方を指導する場合でも、課題や論文にそのまま使用する「ズル」を見抜く必要があります。しかし、人間がAIが書いた文章を特定できる確率は「約50％でコイントスと同じレベルに過ぎない」という研究結果が報告されているほか、ChatGPTを開発したOpenAIによるAIの文章を検知するツール「AI Text Classifier」や文章を書いたのが人間なのかAIなのかを見分けるツール「GPTZero」に期待が集まっているものの、いまだにAIによって作成されたコンテンツを確実に検出できるものではないとされています。

また、検出ツールはAIによる文章を検出できないことがあるだけではなく、人間による文章をAIによるものだと誤検出してしまうこともあります。failnaut氏が2023年4月11日にツイートした内容によると、学校の課題として出たエッセイにfailnaut氏の息子がfailnaut氏のアドバイスを受けながら取り組んだところ、担当の先生がAIによって生成された文章かどうかをツールで確かめるプロセスにおいて、failnaut氏の息子のエッセイが「AIによるもの」と判断されてしまったそうです。ツールによってAIの文章だと検出された後に先生から確認はなく、failnaut氏の息子は釈明の余地もなく0点を付けられる結果となり、failnaut氏は「これが2023年のテクノロジーの現状です」と述べています。

AIによる文章だと疑われてしまった原因として、提出されたエッセイが「よくできすぎている」ことから生徒によるものではないと判断され、AIを使用したと疑われた可能性を指摘する意見もコメントされています。それに対して、failnaut氏は「私は、エッセイを書くサポートをしたと述べましたが、具体的には、自分自身の言い方で伝えたいポイントを正しい構造で書けるように指導したり、引用を多く使うようなことを避けるよう助言したりと、良い習慣を身に付けられるようサポートしたのみです。代筆するようなことはしていません」と語っています。

failnaut氏はAI検出ツールを使用した先生を直接批判したいわけではなく、「ほとんどの場合、人を欺くために使われ、多くの子供たちが不正行為の濡れ衣を何度も着せられて幻滅するようなツールが、資金提供を受けて拡大し続けることに、本当に不満があるのです」とジェネレーティブAIの発展に対する不満を述べています。また、failnaut氏も講師の経験があるとのことで、「教師がAIによって生成された文章をこれからどれだけ処理しなければならないのか、想像もつきません」と、疑われてしまう学生と疑わなくてはならない教師との両方への懸念を語っています。

failnaut氏のツイートには多数のコメントが寄せられており、「これは、重要なAIに関する倫理的考慮事項の1つに思えます。人生を変えるような結果をもたらす主要なツールとしてAIを使用することはお勧めできません」という意見のほか、大学のレポートや論文、高校の課題で同様の事件に遭遇した多数の経験談も語られています。また、ツールを使用するとしても人による文章かAIによる文章かの判断は完全自動化は不可能な分野で、最終的には手動で確認する必要があるという意見に合わせて、「課題を怠けてAIに任せている生徒を探すという仕事を、教師がAIに任せて怠けているという、皮肉な事件です」と指摘するコメントもありました。

Hacker Newsでもfailnaut氏のツイートが話題になっており、あるユーザーは、イギリスの主要大学の一部で行われている施策では、「学生側が、自らの文章に検出ツールを使って、AIによるものと疑われないように確認する」ことが大学から奨励されていると話しています。もともとは学生が悪気無く参考文献からコピー＆ペーストしたり、無意識に文章や表現を盗用したりすることを検知して避けるためのプロセスですが、これをAI検出についても行うことで、AIを用いたと疑われる可能性を下げることが可能になるそうです。また、OpenAIによる検出ツールでも、AIが作成したテキストを正しく識別できるのは26％程度で、人間が作成したテキストをAIが作成したものとして誤って識別する確率が9％あると指摘されており、「そもそもAIを識別するために、AIツールを用いているのがおかしい」という意見も挙がっています。

failnaut氏によると、担当の先生はすぐに誤りを認め、failnaut氏の息子のエッセイを正しく受理したそうです。一方でfailnaut氏は、自らとりくんだ課題をAIでズルしたと一度でも見なされた子供が自信を無くしてしまうような可能性があることに怒りを示しています。