Anthropicが高度なAIシステムによる壊滅的なリスクへの対処方法と労働市場の混乱への対応方法に関する政策提言を発表

AIモデル・Claudeを開発するAnthropicが、最も強力なAIモデルによる壊滅的なリスクに政府がどのように対処すべきかについての提案を発表しました。

Policy on the AI Exponential \ Anthropic
https://www.anthropic.com/policy-on-the-ai-exponential

Policy on the AI Exponential \ Anthropic
https://www.anthropic.com/policy-on-the-ai-exponential/epf

Adv-AI-Framework_060926_a.pdf
(PDFファイル)https://www-cdn.anthropic.com/files/4zrzovbb/website/0a58d567024a8b448ff15158ebc3625328dfcc1f.pdf

Anthropicは高度なサイバー攻撃が可能なほどの高性能AIモデル「Claude Mythos Preview」のアップデート版となる「Claude Mythos 5」と「Claude Fable 5」を2026年6月9日にリリースしました。Claude Mythos Previewは「サイバーセキュリティの常識が変わる」とAnthropicが主張するほど高度なAIモデルで、主要なOSやブラウザを含む数千件もの深刻な脆弱(ぜいじゃく)性候補を発見したことが報告されています。

ついに「Claude Mythos」の正式版が登場＆利用者制限撤廃版の「Claude Fable」も登場して誰でも使用可能に - GIGAZINE

AIが強力に発展していく中で、「壊滅的な被害のリスクも高まるだろう」とAnthropicは指摘しています。「壊滅的なリスク」としては4種類が挙げられており、新薬開発を加速させる技術が生物兵器の開発を容易にする可能性がある「生物学的リスク」、ソフトウェアの重大な脆弱性を発見できることにより基幹インフラが直面する可能性がある「サイバーリスク」、AIシステムの性能が向上するにつれて開発者が制御することがはるかに困難になる可能性がある「制御不能リスク」、そしてこれらのリスクをAIシステムがAI自体の研究開発を自動化することで増幅させる「自動化された開発のリスク」です。

AIが次世代のAIを設計してさらに強力なAIを生み出す「自動化された開発のリスク」については、Anthropicは個別に取り上げてその問題と今後の可能性、必要な対応について提言しています。

Anthropicが「AIがAIを作る」自己改善ループのリスクを警告、AI開発をAI自身が加速する可能性を論じる - GIGAZINE

Anthropicによると、近年制定されたいくつかの州法では、企業に対し安全対策を説明して一般に公開することを義務付けており、Anthropicはこれらの法律を支持してきたとのこと。しかし、透明性だけではもはや十分ではなく、政府はより実質的な役割を果たす必要があるとAnthropicは述べています。

まず透明性について、壊滅的なリスクをどのように評価するかを説明する安全フレームワーク、最先端モデルの機能とリスクの評価といった従来の意識からさらに踏み込んで、開発者に対して全体的なリスク状況を説明する定期的なリスクレポートの公開と、「独立した評価者」による定期的な評価を義務付けるべきだとAnthropicは提言しました。独立した評価者とは独立してAIモデルの評価を行う個人または組織であり、政府および業界は独立した評価者のための基準を設定して資金提供と最先端モデルへの十分なアクセスを確保する必要があるとしています。

また、最先端AIモデルの開発者は開発環境全体を保護して社内外からの脅威から身を守る必要があり、プログラムの概要を公表し、要請に応じて指定機関に詳細を共有し、モデルの挙動を学習して模倣しようとする「蒸留攻撃」があった場合に報告するためのチャネルを設け、自社の防御策を定期的にテストする必要があります。加えて、政府は壊滅的な被害をもたらす恐れのあるモデルについては導入を阻止・制限できる権限を持つべきだとしつつ、一方で過度に広範な規制権限を与えるべきではないともAnthropicは主張しています。

そのほか、AIは労働市場の混乱をもたらすことが懸念されています。これに対しAnthropicは有望な公共政策に関する大規模な研究試験やプログラム評価に資金を提供する「経済未来研究基金」への投資や、キャリア初期の人々がAIの恩恵を全米各地のコミュニティに広げることを支援するフェローシッププログラムの提供など、総額3億5000万ドル(約560億円)の投資を実施することを発表しています。その上で、労働者団体および政府がAIと雇用の変化についての理解を強め、雇用経済の安定化に力を入れるべきとAnthropicは指摘しました。

Anthropicは「これらの課題は複雑かつ斬新であり、我々が提示する提言について活発な議論が交わされることが予想されます。しかし、政策立案者の皆様には、これらの課題に今すぐ積極的に取り組んでいただくよう強くお願いいたします。AIの能力は今後数ヶ月で急速に向上するでしょう。そのガバナンスもそれに追随していく必要があります」と語りました。Anthropicは、AIの能力向上は政策立案のスピードを上回る可能性があり、今後数年間が重要な時期になると警告しています。