GPTZeroがNeurIPS 2025採択論文から新たに100件のハルシネーション(幻覚)を検出

テキストが人間によって書かれたものか、あるいはChatGPTなどのAIによって生成されたものかを判別するためのAI検知ツールが「GPTZero」です。そんなGPTZeroが、AI技術の発表の場となっている国際会議・NeurIPS 2025で採択された論文で100件のハルシネーション(幻覚)を検出したと発表しました。

GPTZero finds 100 new hallucinations in NeurIPS 2025 accepted papers
https://gptzero.me/news/neurips/

GPTZeroは2025年12月にハルシネーションチェックツールを用い、ICLR 2026の査読対象論文に50件のハルシネーション的引用が含まれていることを発見しました。

同様に権威のある国際会議であるNeurIPSに採択された4841件の論文を精査した結果、各論文を評価した3人以上の査読者が見落としていた数百件のハルシネーション的引用が発見されました。以下の表では、51件以上のNeurIPS論文において、これまで報告されていなかった100件のハルシネーション的な引用が示されています。

著者が所属する機関別に、ハルシネーション的引用件数をまとめたグラフが以下。例えば、2つの大学に所属する著者が作成した論文にハルシネーション的引用が2件含まれる場合、両方の大学でハルシネーション的引用が1件検出されたとカウントされています。

ICLR、NeurIPS、ICML、AAAIは世界トップクラスの機械学習およびAI関連の国際会議であり、毎年数千件の論文投稿および参加者を集めています。しかし、生成AI、論文作成、出版圧力などによって引き起こされた論文投稿数の急増により、これらのカンファレンスの査読パイプラインは限界に達しているとGPTZeroは指摘しました。

2020年のNeurIPSへの論文投稿数は9467件でしたが、2025年にはその数が2万1575件にまで増加しています。これは220％以上の増加です。これを受けて、主催者はこれまで以上に多くの査読者を採用しなければならず、その結果、監督・専門知識の調整・過失、さらには詐欺といった問題に直面しています。

GPTZeroはハルシネーション的引用が大量に検出されたことを指摘する理由を、「目的は査読パイプラインにおける重大な脆弱性を明らかにすることであり、NeurIPS 2025に参加した特定の主催者、分野代表、または査読者を批判するものではありません。過去数年間、NeurIPSは投稿数の増加と生成AIツールによって生じる問題に対処するため、査読プロセスを何度か変更してきました。それでもなお、私たちの結果は、学術査読者、編集者、そして会議主催者が数と手段に窮するシステムの帰結を明らかにしています。彼らは、査読の厳格さを、本来想定されていない課題から守ろうとしているのです」と説明しています。

GPTZeroは自社のハルシネーションチェックツールについて、「著者は論文の引用エラーをチェックできます。これには、大規模言語モデル(LLM)の関与なしに発生する可能性のある、リンク切れやタイトルの不完全さといった一般的な問題も含まれます。次に、査読者が投稿論文の出典を確認し、バイブ引用(AIにより捏造された要素を持つ引用)の可能性を特定するのに必要な時間と労力を大幅に削減します。さらに、ハルシネーションチェックをGPTZeroのAI Detectorと組み合わせて使用​​することで、編集者や会議議長はAI生成テキストと疑わしい引用を同時にチェックできるようになるため、より迅速かつ正確な編集上の判断が可能になります」と語りました。

なお、GPTZeroがハルシネーション的引用を検出した論文のリストは以下のページにまとめられています。

GPTZero finds 100 new hallucinations in NeurIPS 2025 accepted papers
https://gptzero.me/news/neurips/