特定のワードが大学の論文で出現しまくっておりChatGPTなどの生成AIが使用されたことを示す危険信号となりつつあることが明らかに

学生の論文でAIが使用されていないかどうかを調査する「論文コンサルタント」によると、「タペストリー」「ビーコン」「充実したカリキュラム」「尊敬する教授陣」「活気に満ちた学術コミュニティ」といった特定のワードが、論文執筆にChatGPTをはじめとする生成AIツールを利用した兆候となりつつあるそうです。

Did You Use ChatGPT On Your School Applications? These Words May Tip Off Admissions - Slashdot
https://tech.slashdot.org/story/24/02/06/1645228/did-you-use-chatgpt-on-your-school-applications-these-words-may-tip-off-admissions

2024年の冬および春は、ChatGPTやその他の生成AIツールが爆発的に普及して以来、初めての本格的な入学シーズンとなります。教育分野では生成AIの使用例が急速に増加しており、一部の教育者はゼロトレランスポリシーを用いることで生成AIを回避しようとしていますが、中には生成AIツールを積極的に受け入れようとしているところもあります。

例えば、アリゾナ州立大学はOpenAIと提携し、個別指導や授業にChatGPTの企業向け有料プランであるChatGPT Enterpriseを使用すると発表しました。

GPT-4を2倍高速かつ無制限に使える「ChatGPT Enterprise」発表 - GIGAZINE

しかし、AIをどのように使用できるかについての一貫したルールが存在しておらず、AIが使用されているかどうかを確実に検出できるツールが存在しないため、多くの学生がChatGPTをはじめとする生成AIツールを利用しています。実際、学生を対象とした調査では、回答者の17％が課題や試験にChatGPTを使用したことがあるとしています。

学生の17％が課題または試験にChatGPTを使っていると回答 - GIGAZINE

このような状況を受け、学生の提出する論文や課題をチェックし、AIが生成したものか否かを調査することを専門とする「論文コンサルタント」という職業が需要を高めているそうです。アイビー・リーグの卒業生であり、コーネル大学が発行するCornell Business Journalの元編集長で、記事作成時点ではFiverrで論文コンサルタントとして働くマイク氏によると、過去数カ月で少なくとも20を超えるクライアントから送られてきた論文に、「タペストリー」「ビーコン」「充実したカリキュラム」「尊敬する教授陣」「活気に満ちた学術コミュニティ」といった特定のワードが繰り返し出現するそうです。

マイク氏は「論文の中で『タペストリー』という単語を使用するべきではないと思います。『タペストリー』という単語が表示される場合、その論文はChatGPTにより生成されたものである可能性が高いです」と語りました。「タペストリー」という単語自体は人間が自然に記したものである可能性がありますが、複数の論文をチェックする論文コンサルタントの目線から見ると、「タペストリー」という単語が使用されていることは、「明らかにAIを利用した兆候」だそうです。

匿名の論文コンサルタントによると、数十、数百件の論文を読むことで「AIを使用して作成された疑い」がわかるようになるならば、より多くの論文を審査するであろう大学の入学委員会が、「論文がAIを用いて作成されたか否か」を特定することはより容易になる可能性があります。ジョージ・ワシントン大学の学部入学部長であるベン・トール氏は入学担当官がAIで書かれた小論文を識別するのは簡単になりつつあると語っています。トール氏によると、入学担当官がAIで書かれた小論文を識別するのにかかる時間は「1分にも満たない」そうです。

3つの修士号と1つの博士号を取得しており、これまで約100件の論文や小論文をチェックしてきたという論文コンサルタントのペジック氏によると、AIブームにより「AIで生成された文章を人間が書いた文章のように編集してほしい」という依頼が一気に増えたそうです。同氏は「ChatGPTは非常に冗長です。また、うまくつなぐことができない抽象的な単語をたくさん持っています」と語りました。なお、ペジック氏は論文の校正に最大100ドル(約1万5000円)を請求しているそうです。

複数の論文コンサルタントが生成AIツールを利用する学生の多くが母国語を英語としていない留学生であると指摘していますが、一方で「英語を母語としない人が書いた文章がAIにより作成されたものと誤検知されている」という調査結果もあります。

英語を母語としない人が書いた文章が「AIにより作成されたもの」と誤検知されている - GIGAZINE

生成AIツールの進歩は目覚ましく、生成するテキストの精度が向上しており、ますます検出は困難になりつつあります。テキサスA＆M大学で入学担当エグゼクティブディレクターとして働くクリス・リード氏は、「この問題に対する一貫したアプローチすら存在しません」と言及。各大学の入学事務局は出願時に提出する小論文に対して厳格なAI使用に関する規則を持っていますが、その規則は大学によってさまざまです。

なお、テキストが生成AIツールにより作成されたものか否かを識別するためのツール・GPTZeroを使った調査によると、各大学に提出される入学用小論文の約30％が何らかの形でAIを使用していることが明らかになっています。