既存のスマホのカメラで簡単＆高精度な3Dスキャンが可能になる技術をMicrosoftが開発

Kinectセンサーを使った3Dモデル作成ツールである「Kinect Fusion」を公開しているMicrosoftが、既存のスマートフォンのカメラで簡単かつリアルタイムに3Dスキャンできる技術「MobileFusion」の開発に取り組んでいることを明かしました。

MobileFusion: Research project turns regular mobile phone into 3D scanner - Inside Microsoft Research - Site Home - TechNet Blogs
http://blogs.technet.com/b/inside_microsoft_research/archive/2015/08/24/3d-scans-with-mobile-phones-mobilefusion-research-project.aspx

Microsoftの新しい研究プロジェクトでは、通常の携帯電話の写真撮影やムービー撮影の要領で、誰でも簡単にリアルタイムで高精度な3Dスキャンを楽しめるようになる技術の開発を行っています。「開発中のシステムのおかげで、我々は手軽に写真撮影の要領でフル3Dのイメージを得ることができるようになります」と語るのは、マイクロソフトリサーチにインターン中のオックスフォード大学の学生であるピーター・オンドルスカさん。

オンドルスカさんたち研究チームが開発しているシステムは「MobileFusion」と呼ばれるもの。スマートフォンを使用した既存の3Dスキャン技術と比べて「専用ハードウェアが必要ない」「インターネット接続なしで動作する」という点で優れている、とのこと。つまり、3Dスキャン用に新しく高価なハードウェアを購入する必要がないだけでなく、荷物になる専用ハードウェアの持ち運びが必要なくなり、電波の届かない場所でも手軽に3Dスキャンを楽しめるようになる、というわけです。

マイクロソフトリサーチの主任科学者であり、MobileFusionの開発プロジェクトに携わるシャーロム・イザディ氏は、「例えば休暇で訪れたエッフェル塔をMobileFusionのようなツールで撮影し、作成した3Dデータを家族や友人とシェアするようになるだろう」と語り、さらには3Dスキャン技術が写真やムービーに取って代わる新たな表現方法になるだろうと主張しています。

MobileFusionのスキャニング精度は非常に高く、データを3Dプリントしたり拡張現実ゲームに利用したりすることも可能。実際にMobileFusionでスキャンして作成される3Dモデルがどの程度のものなのかは以下のムービーを見れば分かります。

MobileFusion: Create 3D scans with your mobile phone - YouTube


最初にスキャンするのは人です。

スマートフォンのカメラをかざしてスキャンします。

スキャンされるのは立方体の赤枠内。

画面をタップするとスキャン開始。スマートフォンの画面に映し出されている赤枠内に緑色のエフェクトがドバーっと表示されたらスタートです。

スマートフォンのカメラで被写体の周りをゆっくり歩き、あらゆる角度からカメラに収めればOK。スキャン自体にはそれほど時間がかからないようです

3Dスキャンして完成した3Dモデルがコレ。

スキャンの際に被写体の後ろには回り込んでいなかったので、3Dモデルの背面は空洞になってしまっていますが……

正面から見るとまるで写真のように高精度なモデルが出来上がっていることが分かります。

続いてクマのぬいぐるみをスキャン。クマの下にごちゃごちゃとしたチラシなどが置かれているのですが、チラシも一部スキャンしてしまっています。

じっくりスキャン中……

作成された3Dモデルはコレ。今度は360度どこから見てもキレイな3Dモデルの完成です。

他にも胸像や……

ライオン像などをスキャンしています。精度自体はまだまだ改良の余地ありのようにも感じますが、既存のスマートフォンで手軽に3Dスキャンが楽しめることは十二分に分かります。

なお、以下の画像の左上がMobileFusionにより作成される3Dモデルで、右上がカメラで写した被写体。

以下の画像の左上はMobileFusionで作成した3Dモデルで、右上はCVPR 2014で発表されたスマートフォンのカメラで3Dスキャンする(PDF)類似技術が作成した3Dモデル。

同プロジェクトに参加しているイザディ氏と、同じくマイクロソフトリサーチの主任科学者でありMobileFusionの開発プロジェクトにも携わっているプッシュミート・コーリ氏は、Kinect Fusionの開発にも参加していました。2人が開発したKinect Fusionは手軽に3Dモデルを作成できるツールでしたが、これを利用するにはPCとKinectセンサーが必要で、外出先で利用することはほとんど不可能でした。

オンドルスカさんがインターンでマイクロソフトリサーチの研究所にやってきた際、コーリ氏は「次のレベルの使いやすさを見てみたい」と語り、外出先でも利用可能な3Dスキャンツールの作成に着手した模様。彼らが着目したのは「ほとんどのスマートフォンが3Dスキャンシステムを構築するのに十分な性能を有している」という点で、スマートフォンのカメラで3Dスキャン可能になるように「人間の目の仕組み」に似たアルゴリズムを作成してMobileFusionを開発した、とのこと。

なお、2015年10月の上旬に行われる予定であるISMAR 2015でMobileFusionに関する発表が行われる予定となっており、開発はWindows Phone・Android端末・iPhoneといった異なるOSのスマートフォン上での動作確認を行う段階まで進んでいるとのことです。