対話AI「ChatGPT」が書いた論文の要旨を研究者は見分けることができないという報告

OpenAIが発表した対話型AI「ChatGPT」は、大学生レベルの試験の自由記述問題に合格できたり、プログラミングに関するQ＆AサイトでChatGPTを用いた回答が急増したため禁止になったりと、人間からの質問に対して非常に自然に受け答えできると話題になっています。主に生物学の査読前論文を提供するbioRxivで2022年12月末に投稿された論文では、ChatGPTが書いた偽の研究論文の要旨は、しばしば専門家でも偽物だと見抜けないほど高いクオリティになっていることが指摘されています。

Comparing scientific abstracts generated by ChatGPT to original abstracts using an artificial intelligence output detector, plagiarism detector, and blinded human reviewers | bioRxiv
https://doi.org/10.1101/2022.12.23.521610

Abstracts written by ChatGPT fool scientists
https://www.nature.com/articles/d41586-023-00056-7

AIの研究・開発を行う団体であるOpenAIが発表した対話型AI「ChatGPT」は、テスト版の公開から1週間もたたないうちにユーザーが100万人を突破するなど、注目が集まっています。特にチャットや議論の精度が話題になっており、「LearnGPT」というデータベースではChatGPTの秀逸な回答例を見ることができます。

対話型チャットAI「ChatGPT」の精度をまざまざと実感させられる秀逸な回答例を集めた「LearnGPT」 - GIGAZINE

一方で、ChatGPTがチャットの他にも得意とするコーディングにおいては、ナレッジコミュニティのStack OverflowはChatGPTを用いた投稿を「正答率が低いにもかかわらず、一見すると良好な回答が容易に作れてしまう」として禁止にしていたり、ニューヨーク市の教育局が学校のコンピューターからChatGPTへのアクセスをブロックしていたりと、ChatGPTの流行を警戒する動きも見られています。また、機械学習に関する国際会議の1つであるInternational Conference on Machine Learning(ICML)は、「AIを用いて出力した文章は誰のものか不明」「偽の論文の誤りに学者が責任を負えるか」などの問題から、「ChatGPTのようなAIを使って科学論文を執筆することを禁止する」という方針を発表しています。

ChatGPTなどのAIで科学論文を書くことが国際会議で禁止に、ただし自分の文章の編集・推敲はOK - GIGAZINE

ChatGPTを用いて研究論文を作成することについて、科学者や出版専門家の間では、AIチャットの高度化によって研究の誠実さや正確さが損なわれることの懸念が広まっています。2022年12月末にbioRxivサーバーに投稿された査読前論文では、論文の要旨をChatGPTに書かせた場合、科学者でもそれが本物の論文かAIによる偽物の論文か見分けが付かないことがあると指摘されています。

イリノイ州シカゴにあるノースウェスタン大学のカトリーヌ・ガオ氏が率いる研究チームは、ChatGPTを使って研究論文の要旨を生成し、科学者がそれを見分けられるかどうかを検証しました。研究者たちは、医学雑誌のJAMA、The New England Journal of Medicine、The BMJ、The Lancet、Nature Medicineに掲載された医学研究論文から50本を選んでChatGPTに書かせ、医学研究者のグループにねつ造された論文要旨を見抜くように依頼しました。

まず、ChatGPTで作成した要旨を盗作チェッカーにかけたところ、オリジナリティスコアの中央値が100％となり、盗作だと検出されませんでした。次に同じ要旨をAI出力チェッカーにかけたところ、66％をChatGPTによるものと検出できたそうです。一方で、専門の研究者によるチェックはChatGPTで生成された要旨のうち32％を本物だと誤認した他、本物の論文のうち14％をAIによって生成された要旨だと誤認しました。

研究チームは論文の中で、「ChatGPTは信頼性の説得力がある科学的論文の要旨を書いています」と評価しつつ、「科学的な文章を書くのに役立つ大規模言語モデルについて、どこまでの使用なら倫理的で許容されるかという境界は、まだ決定されていません」と述べています。

オックスフォード大学で技術と規制について研究しているサンドラ・ワクテル氏は、「私は非常に心配しています。何が真実で何が真実でないかを専門家が判断できない状況になってしまったら、複雑なテーマを導くためにどうしても必要な存在を失ってしまうという悲惨な結果になりかねません」と強い懸念を述べています。ワクテル氏によると、科学者が研究の真偽を判断できないことで、自分が読んでいる研究が偽物だという理由で問題のある調査ルートに迷い込んでしまう可能性がある他、研究結果に基づく政策決定が正しく行われなくなるなど、社会全体にとっても影響があるとのこと。

一方で、ニュージャージー州のプリンストン大学のコンピューター科学者であるアルビンド・ナラヤナン氏は「真面目な科学者がChatGPTを使って論文の要旨を生成することはないでしょう。また、偽の要旨を検出できるかどうかは関係なく、問題はツールが正確で説得力のある要旨を生成できるかどうかです。それができない以上、ChatGPTを使うことによるプラス面はごくわずかであり、マイナス面は大きいのです」と見解を述べています。

論文では、「研究論文や会議録などの科学的コミュニケーションを評価する側は、AIが生成した文章の使用を阻止するためのポリシーを導入すべきです。また、特定のケースでチャットAIの使用を許可する場合は、何をどこまでAIで生成したのかという開示に関する明確なルールを設ける必要があります」と提案しています。