Google傘下のDeepMindが極秘に進めた「マリオ計画」とは何だったのか、AGI安全策の行き詰まりが明らかに

2014年1月にGoogleに買収されたDeepMindは、将来のAGI(人工汎用知能)を親会社の都合だけで動かさせないため、独立性の高い統治構造を極秘に模索していました。DeepMindの共同創業者であるデミス・ハサビス氏やムスタファ・スレイマン氏らは2015年秋から数年にわたって複数の安全策を探りましたが、外部からの監視や委員会の設置は機能せず、最終的には自分たち自身が社内で影響力を持つしかないという方向へ傾いていったとされています。

Project Mario - Colossus
https://colossus.com/article/project-mario-demis-hassabis-deepmind-mallaby/

ビジネスや投資、テクノロジー分野を扱うColossusは、セバスチャン・マラビー氏の著書『The Infinity Machine』からDeepMindの「マリオ計画」を扱った一節を公開しています。

2015年8月、ハサビス氏とスレイマン氏は「人間のように幅広い作業に対応できるAI」とされるAGIをどう安全に扱うかを話し合うため、SpaceXで会合を開きました。会合にはSpaceX創業者のイーロン・マスク氏や、LinkedIn共同創業者のリード・ホフマン氏、Googleの幹部らが集まりましたが、AIを誰がどう管理するかについて意見が割れ、合意には至りませんでした。

この会合の後にDeepMindの内部で始まったのが、「マリオ計画(Project Mario)」と呼ばれる取り組みです。これは、将来のAGIを親会社のGoogleの意向だけで左右されにくくするため、DeepMindをGoogle傘下に残したまま半独立に近い形へ持っていこうとした取り組みでした。なお、なぜ「マリオ計画」と呼ばれるのかは明らかにされていませんが、DeepMindの幹部たちは秘密めいたコードネームを付けるのが好きだったとのこと。

その後、Googleは2015年8月10日にAlphabetを設立。専門事業を半独立の「bets」として切り出す体制へ移りました。

Googleを傘下に収める巨大企業Alphabetが誕生 - GIGAZINE

組織再編の中で、GoogleのM＆A責任者であるドン・ハリソン氏は「この再編を使えばDeepMindの独立性をある程度取り戻せる」とハサビス氏とスレイマン氏に示唆しました。そこで浮上したのが、DeepMind側3人、Alphabet側3人、社外の独立メンバー3人で構成する取締役会を設置する案です。

2016年にはこの案を巡る交渉が具体化し、ハサビス氏はGoogle共同創業者であり当時親会社のAlphabetを率いていたラリー・ペイジ氏と何度も協議を行いました。ところが2016年11月、GoogleのCEOであるスンダー・ピチャイ氏が「AIは自動運転や寿命延長のような分野だけでなく、検索やクラウドといったGoogleの中心事業にも深く関わる重要な技術だ」としてこの案に反対しました。

それでもなおマリオ計画は続きます。2017年1月に行われた協議の前後には、外部投資家から資金を集めてGoogleから離れる案や、営利企業とは異なる法人形態で運営する案が検討されましたが、行き詰まりは解消しませんでした。

さらに、2018年初頭にはAlphabetの取締役会に向けて「これまでにない技術には、これまでにない組織の仕組みが必要だ」と訴える資料まで示されましたが、それでもDeepMind側が望んだ形の独立性は実現しませんでした。

マラビー氏は、SpaceXでの会合は参加者がそれぞれ自分の立場や思惑を抱えていたため失敗し、DeepMind側3人、Alphabet側3人、社外メンバー3人で取締役会を構成する案も、社外メンバーが同じように自分の立場や判断に左右されるおそれがあるため壁にぶつかったのだと整理しています。

マラビー氏はこうした問題に関連する例として、DeepMindが手がけていた医療分野の事業「DeepMind Health」を挙げています。DeepMind Healthは社外の専門家による委員会が見守っていましたが、Googleがこの事業を自社に取り込んだタイミングで委員会は解散しました。外部の専門家を集めても委員は自分たちの評判や立場を優先して動きやすく、Google側には信頼しにくい仕組みに映ったとマラビー氏は記しています。

同様の例として、Googleが2019年に設けた外部諮問委員会も短期間で解散しました。

GoogleのAI開発を支援する外部諮問委員会が立ち上げ直後に解散することに - GIGAZINE

また、OpenAIも非営利組織と営利事業を組み合わせた体制で運営されていましたが、2023年に取締役会がCEOのサム・アルトマン氏を解任しようとした際、その仕組みの弱点が表に出ました。

世界を騒がせたOpenAIのサム・アルトマンCEO解任騒動の裏側で一体何が起きていたのか？ - GIGAZINE

by TechCrunch

ハサビス氏は、取締役会や安全原則を文章化した憲章のような仕組みを作っても、本当に重要な場面でそれが機能するとは限らず、何年も前の段階で「どこまで許し、どこで止めるか」を決めておくのも現実的ではないと話しています。

マラビー氏は、ハサビス氏とスレイマン氏がこうした模索や失敗を経て、「外から安全の仕組みを設計するより、自分たちが会社の中で影響力を持つ方が現実的だ」と考えるようになったと整理しています。