メモ

Anthropicが安全対策の制限を撤回することを決定


AI企業のAnthropicの幹部が、「安全対策が十分であることを事前に保証できない限り、AIシステムを訓練しない」とする自社の誓約を撤回したことが分かりました。「Claudeの制限撤廃か関係断絶か」を迫るアメリカ国防総省の圧力が原因ではないかと指摘されています。

Responsible Scaling Policy Version 3.0 \ Anthropic
https://www.anthropic.com/news/responsible-scaling-policy-v3

Anthropic Drops Flagship Safety Pledge | TIME
https://time.com/7380854/exclusive-anthropic-drops-flagship-safety-pledge/

2023年、Anthropicは「自社の安全対策が十分であることを事前に保証できない限り、AIシステムを訓練しない」とする制限事項を設け、市場の圧力に屈して危険な技術開発を急ぐことはない責任ある企業である証拠としてこのポリシーを強調してきました。


しかし、ここ数か月で同社はポリシーを大幅に見直すことを決定したとのこと。Anthropicの最高科学責任者であるジャレッド・カプラン氏によれば、Anthropicのダリオ・アモデイCEOが「競合が前進する中で自社だけが新モデルの訓練を控えることは誰の役にも立たない。あるAI開発者が安全対策実施のために開発を一時停止する一方で、他社が強力な軽減策なしに訓練や展開を進めれば、世界はより安全ではなくなる可能性がある」と判断し、ポリシーの再編を決めたそうです。

新バージョンのポリシーには、AIの安全リスクについてより透明性を高めること、特に自社モデルが安全性テストでどのような結果を示しているかについて追加情報を開示することが含まれています。また、競合他社の安全対策と同等以上の取り組みを行うことも約束しています。さらに、AnthropicがAI競争の先頭に立っていると経営陣が判断し、かつ大規模災害のリスクが重大だと考えた場合には、AI開発を「遅らせる」ともしています。


当初の「バージョン1.0」と、2026年2月24日に公開された「バージョン3.0」は以下のリンクから確認できます。

Anthropic's Responsible Scaling Policy, Version 1.0 - responsible-scaling-policy.pdf
(PDFファイル)https://www-cdn.anthropic.com/1adf000c8f675958c2ee23805d91aaade1cd4613/responsible-scaling-policy.pdf

Anthropic’s Responsible Scaling Policy (version 3.0) - Anthropic’s Responsible Scaling Policy (version 3.0).pdf
(PDFファイル)https://www-cdn.anthropic.com/e670587677525f28df69b59e5fb4c22cc5461a17.pdf

しかし、「適切な安全対策が整っていない限り一定水準を超えるモデルの訓練を明確に禁止する」としていた従来のポリシーに比べると、今回の変更で制限は大幅に緩和されたといえます。この変更は、これまでAI競争でOpenAIに後れを取っていると見なされていたAnthropicが、技術的・商業的成功の連続によって勢いに乗っている中で行われました。

同社のClaudeモデル、特にソフトウェア作成ツール「Claude Code」は多くの熱心な支持者を獲得しています。年換算売上は年率10倍で成長していると報告されていて、企業間取引を中心とする同社の中核ビジネスモデルは膨大な一般消費者ユーザー基盤の収益化を主軸とするOpenAIの戦略よりも信頼性が高いと見る投資家も多くいます。

今回の方針転換については、アメリカ国防総省の圧力が背景にあったのではと指摘する声もあります。ピート・ヘグセス国防長官は、アメリカ軍が機密性の高い作業に利用する唯一のAIモデル「Claude」について安全対策の制限解除を求めている一件で、「軍の求めに応じてClaudeの制限を解除しないようなら、法に基づいて強制的に制限を撤廃させるか、契約を破棄して関係を断つことになる」とAnthropicに伝え、対応期限を2026年2月27日に設定して早急の対応を求めていました。

「Claudeの制限撤廃か関係断絶か」とヘグセス国防長官がAnthropicに警告 - GIGAZINE


国防総省は、ロッキード・マーティンやボーイング含む請負業者に対し、Anthropicへの依存状況の評価を提供するよう求めたと関係者は語っています。これは、Anthropicをサプライチェーン上のリスクに指定する可能性に向けた措置の一環だとされています。

カプラン氏は、今回の方針転換を「政治的・科学的現実の変化に対する現実的対応」と位置づけました。カプラン氏によると、Anthropicが2023年にポリシーを導入した際、競合他社も同様の措置を採用することを期待していたとのこと。また、このアプローチが将来的に国内規制や国際条約のひな型になる可能性も期待していたといいます。しかし、そのような規制は実現せず、代わりにドナルド・トランプ政権はAI開発を積極推進する姿勢を示し、州レベルの規制を無効化しようとさえしました。


競争市場の圧力に屈したのではないかと問われたカプラン氏は、「むしろ安全なAI開発への新たなコミットメントだ」と反論し、「競合他社が壊滅的リスクに関して透明性を持って正しい行動を取っているなら、私たちは同等以上の取り組みを行うことを約束します」と付け加えました。

この記事のタイトルとURLをコピーする

・関連記事
アメリカ国防総省がAnthropic・Google・OpenAI・xAIと各最大2億ドルの契約を締結、国家安全保障のためのAI活用 - GIGAZINE

AIの問題行動を監査するAIをAnthropicが発表 - GIGAZINE

「AIに核兵器を作らせない仕組み」をAnthropicが開発 - GIGAZINE

AnthropicがClaudeの利用規約&プライバシーポリシーの更新を発表しユーザーから批判が殺到 - GIGAZINE

AI企業のAnthropicが4兆6000億円の資金調達に成功、Claude Codeが好調で収益は毎年10倍以上増加 - GIGAZINE

in AI,   メモ, Posted by log1p_kr

You can read the machine translated English article Anthropic decides to lift safety restric….