ネット上の画像・ムービーから機械学習アルゴリズムが全自動で3Dモデルを作る恐るべきプロジェクト「VarCity」

「機械学習」技術によって画像やムービーなどの大量のデータを処理して、3Dモデルを作ることが可能です。チューリッヒ工科大学の研究チームは、SNSを中心としたインターネット上に公開されている写真やムービーのデータから都市の3Dモデルを構築するというプロジェクト「VarCity」を立ち上げています。VarCityのすさまじいところは、画像データを放り込めば、あとは全自動で3Dモデリングしてくれるアルゴリズムを開発しているところです。

VarCity - semantic and dynamic 3D city modelling, Computer Vision Laboratory, ETH Zurich
https://varcity.ethz.ch/index.html

VarCityプロジェクトで、公開情報から全自動で都市の3Dモデルを作る様子は以下のムービーで確認できます。

VarCity: City model created from images alone - YouTube

VarCityはチューリッヒ工科大学を中心とする研究グループが開発を進める機械学習技術です。

一般的に機械学習を応用すれば、画像から3Dモデルを作ることが可能です。

そこで、スマートフォンカメラなどで撮影されインターネット上にアップロードされた画像や、公共の監視カメラの公開映像や、ストリートビューなどの自動車から撮影した写真、ドローンが撮影した写真などを使えば3Dモデルを合成できるのではないか、というのがVarCityのアイデアです。

VarCityでは機械学習アルゴリズムと人工知能技術によって、集められた画像・ムービーデータは全自動で処理されます。

チューリッヒの町並みを……

VarCityで画像・映像データから再現するとこんな感じ。

3Dモデルは自動的に立体物に応じて分類が可能。チューリッヒの町は、33.5％の建物(オレンジ)、28.7％の道路(グレー)、31.7％の植物(緑)、6.1％の水(青)に分類できたとのこと。

実際に合成された3Dモデルはこんな感じ。

3Dモデルはさらに細かく分析可能。例えば、壁の塗装に必要な面積を即座に算出したり……

建物の窓の大きさを算出したり……

日照条件から、最適な窓の大きさ・形状を考えたり、実際に部屋に取り込まれる光量を算出することさえ可能です。

VarCityでは現在の道路の渋滞状況や、コインパーキングの空き具合などのリアルタイム情報も取り込まれます。

このような情報を収集することで、より住みよい町を作るための都市計画に活用することが可能です。

3DモデルはSNSの情報とひもづけることができ……

全自動でデータは処理され蓄積されます。アルゴリズムによって、各地の時間別の情報を抜き出すことも可能です。

これらの3Dモデルの情報は3Dのショートムービーに編集することもでき、このショートムービーを見れば、その場所に実際に行くことなく、どんな町かを知ることが可能です。

VarCityで最も重要な技術の一つは、プライバシーに配慮してアルゴリズムが設計されていること。路上にいる個人を特定できる具体的な情報はそぎ落とされ、抽象的な情報のみが保持されます。

2008年に撮影された空撮写真データから、2013年のストリートビューデータ、2016年までの監視カメラ映像、2015年に撮影されたドローンからの空撮映像、そして2017年までのSNSに公開されている情報を取り込むことで……

VarCityはチューリッヒの町並みを再現した3Dモデルを完成させました。

VarCityに関するフルムービーは、2017年5月22日にチューリッヒ工科大学のComputer Vision Laboratoryの公式ページ「https://www.varcity.eyhz.ch/」で公開される予定です。

画像を全自動で3DモデルにするVarCityでは、画像データの情報量が増えれば増えるほど精度が上がっていきます。3Dモデルデータは都市計画に活用されるとのことですが、リアルタイム情報と組み合わせると他にもさまざまな活用が考えられそう。自動運転車の技術にも役立ちそうです。