生成AIツールで画像や実験データを簡単に捏造できるようになり科学研究が脅かされている

実験結果の操作や画像の加工といった科学論文における不正は、以前から長らく科学界を悩ませてきました。近年の生成AIツールの台頭により、説得力のあるフェイク画像を簡単に捏造(ねつぞう)できるようになったことで、論文不正を見抜くのがさらに困難になっているとのことです。

AI-generated images threaten science — here’s how researchers hope to spot them
https://www.nature.com/articles/d41586-024-03542-8

ドイツの学術出版社で画像データの整合性を調査するインテグリティアナリストを務めるヤナ・クリストファー氏は、「生成AIは急速に進化しています。画像インテグリティや出版倫理といった私が働く分野の人々は、生成AIがもたらす可能性についてますます心配しています」と述べています。

生成AIツールを使用して論文のテキストや画像、実験データを作成するケースが増加することで、科学界全体への信頼性が損なわれるのではないかという懸念があります。すでにインテグリティの専門家や学術出版社、テクノロジー企業などの間では、AIが生成した論文の要素を検出するツールの開発が競われているとのこと。

論文のテキスト部分の執筆をAIに助けてもらうことは研究者側にもメリットがあり、すでに多くの学術誌は特定の状況下でAI生成のテキスト使用を認めています。しかし、画像や実験データなど科学研究の根幹に関わる部分で生成AIが認められる可能性はほとんどありません。研究インテグリティのスペシャリストであるエリザベス・ビク氏は、「近い将来、AIが生成したテキストは認められるかもしれません。しかし、データの生成はそれと一線を画しています」と述べています。

クリストファー氏やビク氏らは、すでに生成AIを使用して捏造された画像や実験データを含む論文が、世の中に広まっているのではないかと疑っています。また、偽の科学論文を量産して販売する「ペーパーミル(論文工場)」が、生成AIツールを使用して論文を大量作成している疑いもあるとのこと。実際に、研究者の名前を勝手に使ったAI生成らしき論文が、オンライン雑誌に掲載されたというケースも報告されています。

AIによる論文不正を見抜く上で、AIが生成した画像を特定することが大きな課題となっています。科学論文において、少なくとも肉眼で「本物の画像」と「AI生成の画像」を見分けるのは非常に困難であり、画像がAIで生成されたという証拠をつかむのも難しいとのこと。クリストファー氏は「私たちは毎日のようにAIが生成した画像に遭遇していると感じています。しかし、それを証明できない限り、やれることはほとんどありません」と述べています。

たとえば以下の6枚の画像はいずれも科学論文でよく目にするタイプのものですが、このうち3枚(b・c・f)はAIによって生成されたもの。一見して両者の違いを見分けるのは困難です。

生成AIが台頭する以前、論文における画像の捏造はAdobe Photoshopなどのツールで作成されていました。これらの人力で加工された画像には、「背景が他の画像とまったく同じ」「異常なほど汚れやシミがない」など、人の目で見抜けるような兆候が多く含まれていました。

しかし、人力で加工された多くの画像を見抜いてきたビク氏の目でも、AIで生成された画像を正確に見抜くのは難しいとのこと。ビク氏は、「『このウェスタンブロッティングは本物に見えない』と思う論文は数多く見てきましたが、決定的な証拠はありません。ただ奇妙に見えるというだけでは、編集者に手紙を書く十分な根拠にはならないのです」と述べています。

「生成AIツールで画像を捏造した論文」が増えていることを示す明確な証拠はありません。しかし、文章がChatGPTなどを使用して書かれたとみられる論文の増加や、人力で加工された画像がここ数年で急減している状況などを考慮すると、詐欺師が画像の捏造に生成AIツールを使用するようになったと考えるのが妥当です。

科学画像のインテグリティ研究者であるケビン・パトリック氏は、Photoshopの生成AIツールである「ジェネレーティブ塗りつぶし」を使って、腫瘍や培養細胞などのリアルな画像を1分以内に生成できたと報告しています。以下の画像は、右端のオレンジ色で囲われたものがAI生成画像で、残りの画像は本物です。AI生成画像と本物の画像を見分ける困難さがよくわかります。

パトリック氏は、「これ(生成AIツールによる画像作成)が可能ならば、偽のデータを生成することで報酬を得ている人々は、間違いなく実行するでしょう。このようなツールで生成できるデータは、おそらく他にもたくさんあると思います」と述べました。

人間の目ではAI生成画像を見分けるのが困難であるため、「AIを使ってAI生成画像を見つける試み」が進行しています。すでに「Imagetwin」や「Proofig」といったAI生成画像を見分けるツールが開発されており、複数の出版社や研究機関が論文不正を見抜くためにこれらのツールを使用しているとのこと。

また、近年では「AIが生成した画像やテキストに透かし(ウォーターマーク)を入れて識別可能にする」という試みが進んでいますが、科学論文のインテグリティ分野ではこれと逆に、「顕微鏡などで撮影した生データに透かしを入れて識別可能にする」という手法も提案されているそうです。

パトリック氏は、「テクノロジーは今日行われている不正を検出できるところまで進歩すると確信しています。なぜなら、ある時点でそれらの不正は『比較的粗雑なもの』と見なされるようになるからです。詐欺師は夜もぐっすり眠れないでしょう。彼らは今日の科学研究プロセスを欺くことはできても、永遠に欺き続けることはできません」と述べました。