GM傘下のCruiseは「自動運転車が子どもの検知に問題を抱えていた」ことを知りながら公道でテストを続けていたと報じられる

ゼネラルモーターズ(GM)傘下の自動運転企業であるCruiseは、自動運転車が「子どもを検知して適切に注意を払うこと」に問題を抱えていると認識しながら、公道でのテストを続けていたと海外メディアのThe Interceptが報じました。

Cruise Self-Driving Cars Struggled to Recognize Children
https://theintercept.com/2023/11/06/cruise-self-driving-cars-children/

Cruiseはサンフランシスコやマイアミなどアメリカの複数の都市で、自社の自動運転車を公道で走行させるテストを行っていました。時には自動運転車が事故を起こしたり、交通を乱したりする事例も報告されていましたが、2023年10月にはGMなどが「自動運転車は人間が運転する車より安全」だということを示すデータを発表するなど、自動運転車の安全性をアピールしてきました。

ところが、このレポートが公表された直後に、カリフォルニア州陸運局(DMV)がCruiseに与えた自動運転車両の配備や無人運転試験の許可を即時停止すると発表しました。これは10月初頭にCruiseの自動運転車が起こした事故において、Cruiseが事故についての情報を適切にDMVへ開示しなかったことが理由とされています。その後、Cruiseはカリフォルニア州以外でも自動運転車の無人走行テストを一時停止することを決定しています。

カリフォルニア州がCruiseの自動運転車両配備と無人運転試験の許可を即時停止 - GIGAZINE

Cruiseの共同創業者兼CEOを務めるカイル・フォークト氏はこの件に関連し、従業員へ「安全はCruiseが行うすべてのことの中核です」というメッセージを発信したとのこと。実際にこれまで、Cruiseをはじめとする自動運転車開発企業は、「自動運転車に搭載されたソフトウェアは人間のように疲れたり、酔っ払ったり、注意散漫になったりしない」という点を強調してきました。

しかし、The Interceptが入手したチャットログなどを含む内部資料からは、Cruiseが自動運転車の公道走行テストを一時停止する前から、「子どもや道路上の穴を検知する能力」に問題があることを認識していたことが示されています。子どもはいきなり走り出したり道路に飛び出たりする可能性があるため、車を運転する際に子どもを見かけたらより慎重になる必要があります。ところが、ある安全性評価では「Cruiseの自動運転車は、子どもに対して特別な注意を払えないかもしれない」と記されていたそうです。

Cruiseの内部資料には、自動運転車の開発において「子どもが突然付き添いの大人から離れる」「子どもが転倒する」「子どもが自転車に乗る」「子どもが特殊な服を着ている」といった、子ども中心のシナリオに関するデータが不足していると記されていました。実際にCruiseが小さな子どものそばを走る模擬テストを行った結果、「シミュレーション結果に基づくと、完全自動運転車が子どもをはねた可能性を排除することはできない」と報告されています。また、別のテスト走行では幼児サイズのダミー人形を検知することには成功したものの、時速28マイル(約45km)で走行する自動運転車のサイドミラーが人形にぶつかったそうです。

一連の問題についてCruiseは、同社の自動運転ソフトウェアが子どもを検知できなかったのではなく、子どもを「注意が必要な特別なカテゴリーの歩行者」として分類できなかったのだと説明しています。Cruiseの広報担当者であるエリック・モーザー氏は、「私たちは子どもとの接触に対するリスク許容度を最も低く設定し、子どもたちの安全を最優先で扱います。人間が運転するものであれ自律走行するものであれ、衝突のリスクがゼロになる乗り物はありません」とコメントしました。

さらに、The Interceptが手に入れた資料からは、Cruiseは1年以上前の時点で「作業員が内部にいるような工事で空けられた大きな穴」を検知できないことを把握していたことが示されています。Cruiseは、テストで限られた数の自動運転車のみが走行している状態でも、1年に1台の自動運転車が空いている穴に落下し、4年に1台は中に作業員がいる穴に落ちる可能性があると推定していたとのこと。もし公道を走行する自動運転車が増えれば、それに伴ってリスクは増加することになります。

実際にThe Interceptが確認したCruise車両のビデオ映像には、複数の作業員がいる工事現場の穴に向かって自動運転車が走り、作業員のわずか数cm手前で停車する様子も映っていたそうです。建設現場はオレンジ色のコーンで囲まれており、作業員の1人は「SLOW(減速)」を示すサインを振って車を止めようとしていましたが、自動運転車はうまくこれを検知できなかった模様。

Cruiseは外界の知覚とナビゲートにおいてAIに強く依存しており、2021年にはCruiseのAI責任者が「AIなしではCruiseを作れません」と語るなど、AIの優れた能力を定期的に宣伝しています。しかし、一連の問題は「機械学習ファーストのアプローチ」における課題を示唆するものとなっています。

カーネギーメロン大学の工学教授であるフィル・コープマン氏は、Cruiseがさまざまな安全上のリスクをリストアップし、評価しているのは前向きな兆候だと認めています。しかし、Cruiseが懸念している安全上の問題は今になって現れたものではなく、自律型ロボット工学の分野では数十年前から知られていたとのこと。コープマン氏は、機械学習のデータ駆動型文化を持つテクノロジー企業は、危険に遭遇する前でなく、実際に危険に遭遇しないと問題について考え出さない点が問題だと指摘しています。

コープマン氏は、「Cruiseは初日からその危険をリストアップしておくべきでした。すでに遭遇したものへの対処法だけを訓練していたら、自身の車に発生するまで気づけない危険というのはたくさんあります。そのため、機械学習は根本的に安全に適していないのです」と主張しました。