NSAの「SKYNET」は数万人もの無実の人々を殺しているかもしれない

By credit_00

アメリカ国家安全保障局(NSA)はパキスタンの携帯電話ネットワークを監視して分析することにより、「テロリスト」を特定する機械学習アルゴリズム「SKYNET」を使用していることが、エドワード・スノーデン氏がリークした文書から判明しています。そんなSKYNETプログラムのアルゴリズムには欠点があり、何千人もの無実の人々が「過激派」としてアメリカ政府の攻撃対象リストに分類されているかもしれないことが指摘されています。

The NSA’s SKYNET program may be killing thousands of innocent people | Ars Technica UK
http://arstechnica.co.uk/security/2016/02/the-nsas-skynet-program-may-be-killing-thousands-of-innocent-people/

「Human Rights Data Analysis Group(HRDAG)」のデータ科学者パトリック・ボール氏は、NSAのSKYNETが採用しているアルゴリズムを「ばからしく楽観的」「完全なまやかし」と痛烈に批判した人物であり、SKYNETが科学的に根拠不十分であることをArs Technica UKに語りました。

2004年以来、4000人にのぼる人々がアメリカ軍の無人機(ドローン)による攻撃で殺されており、死亡者のほとんどがアメリカ政府に「過激派」として分類されていたと、イギリスのBureau of Investigative Journalismが報じています。2014年にはNSAとCIAの元長官が「我々はメタデータに基づいて人々を殺している」と話しており、NSAのメタデータ分析による分類で、無実の人々に危害が及んでいる可能性がささやかれてきました。

SKYNETはメタデータを収集してNSAクラウド・サーバーに情報を格納し、テロリストの関連情報を抽出して機械学習で目標を特定するという仕組みをとっています。収集されるデータは主にDNR(Dialled Number Recognition)と呼ばれる携帯電話の通話履歴のデータや、ユーザーの位置情報、旅行履歴などから集められており、「携帯電話の電源をオフにする」「SIMカードを交換する」「端末を交換する」など、監視を回避しようとした行動をとると、テロリストとしてのフラグが立つようにもなっています。

収集したメタデータは一般市民とは異なる「テロリスト」の可能性を示す80のプロパティで分析されるのですが、これらの機械学習プログラムで最もテロリストの可能性が高いと示されたのは、オサマ・ビン・ラーディンなどのアルカイダ指導者との独占インタビューを成功させたアルジャジーラのイスラマバード支局長を務めていたアハマド・ムアファク ・ザイダン支局長でした。

SKYNETの機械学習アルゴリズムはベイズ理論スパムフィルターのような、テロリストを正確に判別するための再学習プログラムを取り入れており、アルゴリズムには「既知のテロリスト」のデータが供給されています。ただし、「既知のテロリスト」の母数が少なすぎることが問題であり、未発見のテロリストがNSAの調査に回答することも考えられないため、フィルタリングの学習データとしては不十分であるとのこと。

SKYNETが構築された2012年当時、パキスタンの人口は約1億9200万人で、携帯電話人口は約1億2000万でした。NSAが分析したのはそのうち5500万人分の携帯電話人口データですが、わずか80の変数で分析するには大きすぎるデータ量であるため、NSAは手動に頼る部分が多かったと考えられます。そのため、SKYNETは人的判断を補助する役割しか果たせなかったと考えられるとのこと。

また、SKYNETはメタデータの中から「テロリスト」として分類されるしきい値をセットしてフィルタリングを行っています。しきい値が50％の偽陰性率としてセットされる場合、データの半数の人々は「無実」と分類されず、「テロリスト」として分類されることになります。しきい値が高く設定されるのは、誤検出により本物のテロリストが無実として分類されないためとのこと。ボール氏によると、偽陰性率50％というしきい値は、最終的な「殺人リスト」を作る時と同じ値であり、テロリストの見逃し率の増加を防ぐため、NSAはしきい値を低下させていないそうです。

5500万人に対して偽陰性率を50％で分析すると、無実の人々がテロリストとして分類される偽陽性率は0.008%～0.18％にのぼります。人数にすると約1万5000人～約9万9000人となり、罪のない民間人がテロリストとして大量にリストにのせられている可能性があるというわけです。