AI開発企業AnthropicはAI「Claude」が兵器製造の支援を行わないよう専門家と協力して安全性を調査している

AI開発を行うスタートアップとして知られるAnthropicが、エネルギー省・国家核安全保障局(NNSA)の原子力専門家と協力して、AI「Claude」が兵器製造の支援を行わないように安全性調査を行っていることがわかりました。

Anthropic, feds test whether Claude AI will share sensitive nuclear info
https://www.axios.com/2024/11/14/anthropic-claude-nuclear-information-safety

AI Nuclear Risk Potential: Anthropic Teams Up with U.S. Energy Department For Red-Teaming - WinBuzzer
https://winbuzzer.com/2024/11/14/ai-nuclear-risk-potential-anthropic-teams-up-with-u-s-energy-department-for-red-teaming-xcxwbn/

AIの活用がさまざまな分野で進む中、当然、軍事への活用も考えられていて、アメリカ国防総省は宇宙空間の監視をはじめとした用途でAIを利用しています。

AIを軍事活用し「自律型無人機の運用」「宇宙空間の脅威監視」「航空機や兵士のメンテナンス」などをアメリカ国防総省が目指す - GIGAZINE

しかし、AIが有用なあまり、チャットボットを利用するだけで新たな生物兵器が開発できてしまうという危険性が指摘されるなど、対策や規制についての検討も行われています。

「AIが開発した生物兵器」が国家安全保障上の懸念に浮上、アメリカ政府やAI企業が規制の検討に乗り出す - GIGAZINE

ニュースサイトのAxiosによると、Anthropicと国家核安全保障局は、AnthropicのAI「Claude 3.5 Sonnet」が原子力関連で危険性のある情報を共有することがないかどうかの安全性調査を行っているとのこと。

Claude 3.5 Sonnetは2024年6月21日に一般公開されましたが、調査プログラムは2024年4月から行われているそうです。

Introducing Claude 3.5 Sonnet \ Anthropic
https://www.anthropic.com/news/claude-3-5-sonnet

Axiosによると、国家安全保障政策を担当するマリナ・ファヴァロ氏は「アメリカの産業界はフロンティアモデルの開発で先行しており、連邦政府は特定の国家安全保障上のリスクについてAIシステムを評価するために必要な独自の専門知識を持っています。今回の取り組みは、責任あるイノベーションとアメリカの指導力を推進するフロンティアモデルのために、開発者がより強力な保護手段を構築するのに役立ちます」と語ったとのこと。

また、NNSAのテロ対策・核拡散対策担当副長官であるウェンディン・スミス氏は「AIは『ゲームチェンジャー』となる技術の1つであり、我々が行う多くの議論の中で最重要議題となっています。同時に、格や放射線リスクを潜在的に示す可能性があるような出力を生成するAIの能力を評価・調査することは、国家安全保障上の急務でもあります」と述べました。

なお、Anthropicは2024年8月に、OpenAIとともにAIを公開する前に国家安全保障上のリスクについてテストを行う契約を、AI安全研究所との間で締結しています。