360度カメラで撮影した動画を読み込ませるだけで3D空間を構築するソフトウェアが登場、VRにも応用可

深度センサーなど専用の機器は必要とせず、周囲360度を撮影できるカメラさえあれば実際の風景から3Dの立体空間を構築できるソフトウェアが開発されています。このソフトウェアを使うと、実在する街の風景をいとも簡単に3Dに変換してしまうことが可能です。

Maxime Lhuillier's home page.
http://maxime.lhuillier.free.fr/

Jaw-dropping software converts 360 video into 3D model for VR - 360 Rumors
http://360rumors.com/2017/11/software-institut-pascal-converts-360-video-3d-model-vr.html

ソフトウェアを開発したのは、フランス国立科学研究センターおよびInstitut Pascal(パスカル研究所)などでコンピュータービジョン分野を専門に研究するマクシム・ルイリエ氏です。GARMIN製の360度撮影アクションカメラVIRB 360で撮影された映像をもとに、ノートPCにインストールしたソフトウェアを使って解析を行い、3D空間を構築して自由に移動できるという以下のデモ映像を見ると、そのすごさが感じられるはず。

Forest scan using helmet-held Virb 360 camera - YouTube


ルイリエ氏は、VIRB 360をヘルメットに装着して森の風景を撮影し、コンピューターに処理させています。映像データは2496×2496ピクセルのサイズでフレームレートは30fps。

744秒にわたって森の中を歩き回り、撮影した素材をもとに3D空間を構築しようというわけです。

実際に撮影された映像はこんな感じ。魚眼レンズによる風景は人間が見てもあまりピンと来ないものですが、これをルイリエ氏が開発したソフトウェアで解析すると……

まるでGoogleストリートビューのような状態に変化。しかしストリートビューと最も異なるのは、この風景が完全に3Dで構成されており、内部を自由に歩き回れるという点にあります。

ソフトウェア内部では、映像をもとに実際の立体構造を解析する処理が行われています。赤外線やレーザーなどの深度センサーは用いられておらず、完全に360度カメラの映像だけをもとに空間の様子を解析するという点が画期的なところです。

ムービー中には、森の中に銀色のマークが無数に浮かんでいます。これらはソフトウェアが立体を認識するためのキーフレームとして設定されている地点とのこと。

少しわかりにくいですが、このように元の目線から高い地点を飛ぶように移動することも可能。実際のすごさはムービーを再生して動画で確認してみてください。

森全体は、このような1つの空間として構築されているというわけです。

ルイリエ氏は、同様の方法で作成した3Dデータを、無料のオンライン3DビューワーSketchfabで公開しています。風景の再現がやや荒い状態になっているのはアップロードできるデータ容量の上限が理由のようですが、写真や動画から立体空間を作るという、よく考えてみると実は相当すごいことが実現されています。

これらの3Dモデルは、「HTC Vive」や「Oculus Rift」などのVRヘッドセットで表示してその空間に入り込むことが可能。また、「Google Cardboard」とWebVRに対応したFirefox Nightlyなどのブラウザを組み合わせることでも同様の体験ができるとのことです。