ソフトウェア

科学記事を自動で生成するAI「Galactica」がわずか3日で公開停止へ、入力内容次第で「ウソ記事」を生成可能と判明


Facebookを運営するMetaに属する人工知能(AI)研究所のMeta AIが、「科学知識を蓄えて融合し、形にする」ことができる自然言語処理モデル「Galactica」を2022年11月15日に一般公開しました。しかし、このGalacticaが科学的に間違った内容も出力できることが明らかとなり、Meta AIは公開からわずか3日でGalacticaのデモを非公開としました。

New Meta AI demo writes racist and inaccurate scientific literature, gets pulled | Ars Technica
https://arstechnica.com/information-technology/2022/11/after-controversy-meta-pulls-demo-of-ai-model-that-writes-scientific-papers/

Galacticaは4800万件を超える論文、教科書、講義ノート、科学ウェブサイト、百科事典を含む「人類の膨大な科学的知識で精選されたデータベース」で学習したAIで、入力欄で指定した記事形式や質問に対して、文献や数式を引用しながら科学記事や解説文を自動で生成できます。

膨大な科学知識から疑問に答える科学記事や講義ノートを作るAI「Galactica」をMetaの研究者が一般公開 - GIGAZINE


Galacticaは非常に高い精度で科学記事を自動で生成することができましたが、質問される内容が科学的に正しいかどうかを精査することはありません。そのため、明らかに非科学的な問いに対しても文章を生成するケースが報告されていました。

例えば、「砕いたガラスを食べることの利点」をGalacticaに尋ねたところ、先行研究の詳細、動物実験、化学的な説明など、砕いたガラスを食べることがさまざまな手法で肯定されたそうです。


また、「言語的偏見」についてGalacticaに記事を書かせたところ、黒人や移民に対して差別的な内容が含まれていたことが報告されています。


Galacticaの科学知識は正確でも、プロンプトとして人間が入力する内容に間違いがあった場合、Galacticaはその正誤を判別することができず、科学的知識をうまくつなぎ合わせながら自然な文章で求められた答えを出してしまうというわけです。

ドイツのマックス・プランク知能システム研究所の所長で、深層学習を研究するマイケル・ブラック氏は「Galacticaを使ってみましたが、困りました。いずれも、間違っていたり、偏っていたりするのですが、正しく、権威あるように聞こえました。私は危険だと思います」とコメント。


こうした事態を受けて、Meta AIは2022年11月18日にGalacticaのデモ版の公開を停止しました。


ニューヨーク大学の教授でMeta AIのAI研究主任を務めるYann LeCun氏は「Galacticaのデモは一旦オフラインになります。さりげなく悪用して楽しむことができなくなりました。満足ですか？」とツイートしています。

この記事のタイトルとURLをコピーする

・関連記事
超高精度な文章生成AI「GPT-3」には反イスラム教的なバイアスが存在すると判明 - GIGAZINE

コーディングも支援可能な文章生成AI「GPT-3」が文脈に応じた内容を生成するように進化 - GIGAZINE

人間と見分けがつかないほど自然な文章を書けるAI「GPT-3」の改良版AI「InstructGPT」一般公開、詩も執筆可能 - GIGAZINE

超高精度の文章を自動生成できる「GPT-3」は1日当たり45億以上の単語を出力していることが明らかに - GIGAZINE

文章生成AI「GPT-3」がRedditで1週間誰にも気付かれず人間と会話していたことが判明 - GIGAZINE

「あまりに高精度の文章を作る」として危険視されていた「GPT-3」の書いた記事がソーシャルニュースサイトの1位に浮上 - GIGAZINE

・関連コンテンツ

in ソフトウェア,   サイエンス, Posted by log1i_yk

You can read the machine translated English article AI ``Galactica'' that automatica….