Metaが「リスクが高すぎると判断したAIは開発を中止する可能性がある」と発表

Metaが先端的なAIの開発と公開に関する包括的な方針文書となる「Frontier AI Framework」を発表しました。この中で、MetaはAIによるリスクを3段階に分類し、最も重大なリスクがあると判断された場合は開発を停止し、限られた専門家のみがアクセスできる厳格な管理体制を敷くことを明記しています。

Frontier AI Framework
(PDFファイル)https://ai.meta.com/static-resource/meta-frontier-ai-framework/

Meta says it may stop development of AI systems it deems too risky | TechCrunch
https://techcrunch.com/2025/02/03/meta-says-it-may-stop-development-of-ai-systems-it-deems-too-risky/

MetaはFrontier AI Frameworkで、「先端的なAIの開発と公開に関する判断基準」を示しています。最も重要なポイントは、「危険なAIは開発・公開しない」という明確な基準を設定し、リスクを主に3段階に評価する方式を提案していることです。

このリスク評価では、まず社内外の専門家を交えて、防ぐべき破滅的な結果となる「脅威シナリオ」を定義し、AIがどのように悪用される可能性があるのかを検討します。次に、その脅威シナリオを実現するために必要な「実現能力」を特定し、開発中のAIモデルがこれらの能力をどの程度持っているのかを評価します。

そして、評価されるAIモデルが「脅威シナリオの実現を独自に可能にする場合」は「重大リスク」、「実現に向けて著しい性能向上をもたらす場合」は「高リスク」、そのどちらでもない場合は「中程度リスク」に分類されます。

例えば、そのAIによってサイバー攻撃や生物兵器開発などが直接的に可能になる場合は、重大リスクを有すると見なされ、開発停止の判断が行われるとのこと。そして、サイバー攻撃や生物兵器開発などを著しく容易にするような場合は高リスクを有するとして、そのAIを一般公開せず内部利用のみにとどめる判断が下されます。

注目すべきは、Metaが定量的な指標ではなく、専門家の判断に基づく定性的な評価を採用している点です。Metaは「一見すると主観的に見えるアプローチかもしれないが、現時点でのAI評価技術がまだ発展途上であることを考慮すると、むしろ現実的な判断を可能にする枠組み」と述べています。

IT系ニュースサイトのTechCrunchは「Frontier AI Framework」を「Metaが方針転換した」と捉えています。

TechCrunchは、「開発や公開をオープンにする」という戦略を取ってきたMetaが安全性確保のために具体的なリスク判断の基準を示したと指摘しています。例えば、Metaの大規模言語モデルであるLlamaは数億回ダウンロードされている一方で、敵対的な目的で使用された事例も報告されています。今回発表されたFrontier AI Frameworkは、こうした問題に対処するためのものだと考えられます。

また、TechCrunchは定性的なリスク評価について、Metaが「AIのリスク評価に関する科学的な手法がいまだ十分に確立されていない」ことを認めた点にも注目。さらに、AIモデルをオープンにせずにAPIを通じてサービスを提供するOpenAIや、安全対策が不十分なままにオープンで提供する中国のDeepSeekと比較し、「Frontier AI Framework」はAI業界全体が直面している「オープン性と安全性のバランス」という課題に対するMetaの回答ではないかと論じました。