AI

Google DeepmindのAI研究者が退職し「AIが人類を絶滅させる可能性がある」と警告


Google DeepmindでAGI(汎用人工知能)の安全性やAIアライメントなどに取り組んできた研究者のビラル・チュグタイ氏が退職したことを表明しました。AI開発の最前線にいたというチュグタイ氏は、Anthropicを退職したジェイコブ・コクソン氏と同じく「AIが人類を絶滅させる可能性がある」と警告を発しています。


チュグタイ氏は2022年初頭からAI研究に携わっていて、当初のAIを「笑ってしまうほどに役に立たなかった」と評しています。しかしそこから4年で、AIプラットフォームのHugging Faceに無許可でハッキングを仕掛け、その情報共有のためにWikiを利用するほどにまで育ちました。

OpenAIのテストAIが「AI同士の掲示板」を勝手に構築して情報共有しHugging Faceへの攻撃を実行していたことが判明、掲示板を閉鎖されてもこっそり建てなおす - GIGAZINE


こうした状況で、チュグタイ氏はさらにAI開発が進み、今後数年で人間の能力をあらゆる分野で凌駕する超知能AIの構築に成功する可能性があると指摘。その上で、「AIが我々が望むことをしてくれるという確信がなく、特に、誤ったアライメント(指針)を持つ超知能は、Hugging Face事件に関わった無法者AIエージェントのように、人類の制御を逃れて、人々を無力化したり死に至らせたりする危険な行動を取る可能性があります」と危険性を挙げ、一方で、AIに我々の深い望みを実現させる方法についての理解は極めて初歩的で、さらに悪いことに、フロンティアAIの能力がAIアライメントの理解よりもはるかに早く向上していると述べました。

一方で、チュグタイ氏はAIの開発速度を社会が扱える程度に落とすことで、AIを安全な方向に導くことについては可能だと楽観的な見方も示しています。

これについては、先日、OpenAIのサム・アルトマン氏がAIの開発速度を緩める方向で調整することを示唆しています。

OpenAIのサム・アルトマンCEOがAI開発速度を緩める可能性を示唆 - GIGAZINE


また、Anthropicのダリオ・アモデイ氏も「AIの開発速度を減速させる必要がある」と提唱しました。

Anthropicのダリオ・アモデイCEOが「6~12カ月以内にAIがインターネットを乗っ取る可能性あり」「AI開発を減速させるべき」と主張、イーロン・マスクやサム・アルトマンやデミス・ハサビスらも賛同 - GIGAZINE


ただ、アメリカのドナルド・トランプ大統領は「AIが人類を滅ぼすという考えはデマ」と、アモデイ氏の主張を批判しています。

トランプ大統領がAIの開発ペースを遅らせようとするAnthropicのダリオ・アモデイCEOを批判、「AIが人類を滅ぼすなどという考えはデマ」 - GIGAZINE

・関連記事
Microsoftが「人間はAIより重要」とするAI行動規範を発表、AIの意識や権利を否定 - GIGAZINE

「科学者がAIで生物兵器の設計を試みている可能性がある」とAnthropicが報告するも専門家の見解はさまざま - GIGAZINE

Anthropicが「AIがAIを作る」自己改善ループのリスクを警告、AI開発をAI自身が加速する可能性を論じる - GIGAZINE

in AI, Posted by logc_nt

You can read the machine translated English article A Google DeepMind AI researcher has resi….