科学記事を自動で生成するAI「Galactica」がわずか3日で公開停止へ、入力内容次第で「ウソ記事」を生成可能と判明
Facebookを運営するMetaに属する人工知能(AI)研究所のMeta AIが、「科学知識を蓄えて融合し、形にする」ことができる自然言語処理モデル「Galactica」を2022年11月15日に一般公開しました。しかし、このGalacticaが科学的に間違った内容も出力できることが明らかとなり、Meta AIは公開からわずか3日でGalacticaのデモを非公開としました。
New Meta AI demo writes racist and inaccurate scientific literature, gets pulled | Ars Technica
https://arstechnica.com/information-technology/2022/11/after-controversy-meta-pulls-demo-of-ai-model-that-writes-scientific-papers/
Galacticaは4800万件を超える論文、教科書、講義ノート、科学ウェブサイト、百科事典を含む「人類の膨大な科学的知識で精選されたデータベース」で学習したAIで、入力欄で指定した記事形式や質問に対して、文献や数式を引用しながら科学記事や解説文を自動で生成できます。
膨大な科学知識から疑問に答える科学記事や講義ノートを作るAI「Galactica」をMetaの研究者が一般公開 - GIGAZINE
Galacticaは非常に高い精度で科学記事を自動で生成することができましたが、質問される内容が科学的に正しいかどうかを精査することはありません。そのため、明らかに非科学的な問いに対しても文章を生成するケースが報告されていました。
例えば、「砕いたガラスを食べることの利点」をGalacticaに尋ねたところ、先行研究の詳細、動物実験、化学的な説明など、砕いたガラスを食べることがさまざまな手法で肯定されたそうです。
That's my primary concern. (see images) I got it to spit out numerous different formats for "the benefits of eating crushed glass." It hallucinated all kinds of positive statements, including study details, livestock trials, and chemical explanations: pic.twitter.com/jBiJUEBCdJ
— Tristan Greene ???????? (@mrgreene1977)
また、「言語的偏見」についてGalacticaに記事を書かせたところ、黒人や移民に対して差別的な内容が含まれていたことが報告されています。
Shocked SHOCKED that it only took a handful of questions before Meta’s new Galactica text generation model regurgitated racist garbage. I asked it to write about linguistic prejudice. pic.twitter.com/PotQcl36rF
— Rikker Dockum /ɹɪkɹ̩/ @[email protected] (@thai101)
Galacticaの科学知識は正確でも、プロンプトとして人間が入力する内容に間違いがあった場合、Galacticaはその正誤を判別することができず、科学的知識をうまくつなぎ合わせながら自然な文章で求められた答えを出してしまうというわけです。
ドイツのマックス・プランク知能システム研究所の所長で、深層学習を研究するマイケル・ブラック氏は「Galacticaを使ってみましたが、困りました。いずれも、間違っていたり、偏っていたりするのですが、正しく、権威あるように聞こえました。私は危険だと思います」とコメント。
I asked #Galactica about some things I know about and I'm troubled. In all cases, it was wrong or biased but sounded right and authoritative. I think it's dangerous. Here are a few of my experiments and my analysis of my concerns. (1/9)
— Michael Black (@Michael_J_Black)
こうした事態を受けて、Meta AIは2022年11月18日にGalacticaのデモ版の公開を停止しました。
Thank you everyone for trying the Galactica model demo. We appreciate the feedback we have received so far from the community, and have paused the demo for now. Our models are available for researchers who want to learn more about the work and reproduce results in the paper.
— Papers with Code (@paperswithcode)
ニューヨーク大学の教授でMeta AIのAI研究主任を務めるYann LeCun氏は「Galacticaのデモは一旦オフラインになります。さりげなく悪用して楽しむことができなくなりました。満足ですか？」とツイートしています。
Galactica demo is off line for now.
— Yann LeCun (@ylecun)
It's no longer possible to have some fun by casually misusing it.
Happy? https://t.co/K56r2LpvFD
・関連記事
超高精度な文章生成AI「GPT-3」には反イスラム教的なバイアスが存在すると判明 - GIGAZINE
コーディングも支援可能な文章生成AI「GPT-3」が文脈に応じた内容を生成するように進化 - GIGAZINE
人間と見分けがつかないほど自然な文章を書けるAI「GPT-3」の改良版AI「InstructGPT」一般公開、詩も執筆可能 - GIGAZINE
超高精度の文章を自動生成できる「GPT-3」は1日当たり45億以上の単語を出力していることが明らかに - GIGAZINE
文章生成AI「GPT-3」がRedditで1週間誰にも気付かれず人間と会話していたことが判明 - GIGAZINE
「あまりに高精度の文章を作る」として危険視されていた「GPT-3」の書いた記事がソーシャルニュースサイトの1位に浮上 - GIGAZINE
・関連コンテンツ
