画像から簡単に精巧な3D写真が作成できる論文が公開される、実際に3D写真を生成することも可能

RGBに「奥行き(Depth)」情報を加えた「RGB-D」画像から、立体的な写真である「3D写真」を生成する方法を研究者チームが提案しています。たった1枚の写真から精巧かつ立体的な3D写真が手軽に生成可能ということで話題になっています。

3D Photography using Context-aware Layered Depth Inpainting
https://shihmengli.github.io/3D-Photo-Inpainting/

RGB-D画像から3D写真を生成する方法を開発したのは、国立清華大学の大学院生でありバージニア工科大学にインターンシップ中のMeng-Li Shih氏、バージニア工科大学の大学院生であるShih-Yang Su氏、Facebookリサーチで働くJohannes Kopf氏、バージニア工科大学の助教であるJia-Bin Huang氏ら4人です。4人は「3D Photography using Context-aware Layered Depth Inpainting(コンテキスト認識型のレイヤード深度インペインティングを用いた3D写真)」という論文を公開しています。

論文で発表した技術を駆使することで、オリジナルの写真から複数レイヤーを含む奥行きを演出可能な3D写真を生成できます。基本的な原理としては、テクスチャーと奥行き情報を持つ前景・背景レイヤーから構成されるLayered Depth Image(LDI)と、空間状況に応じた方法で新しく画像のピクセルごとに色および深度情報を繰り返し合成していくことができる学習ベースの画像補間モデルを使用しているとのこと。

実際にどんな3D写真が生成できるのかは、以下のムービーを見ればよくわかります。

Family 3D Photo Slideshow - 3D Photo Inpainting - YouTube


この3D写真化技術を用いて歴史的な写真を3D写真にしてしまったのが以下のムービー。

Visualizing History in 3D - 3D Photo Inpainting - YouTube


既存の3D写真化技術である「SynSin」および「3D Ken Burns」と、Su氏らが開発した3D写真化技術を比較したムービーが以下のもの。SynSinや3D Ken Burnsでは背景がぼけたり崩れたりしてしまうシーンであっても、Su氏らの3D写真化技術ならばかなり精細に3D写真化に成功しています。

2.5D Motion Parallax - 3D Photo Inpainting - YouTube


さらに、実際に3D写真化技術を使ってみた人たちも登場。

グリングリンに動かせることがよくわかります。

実際に3D写真を作るには、Googleアカウントにログインした状態で3D-Photo-Inpainting.ipynbにアクセスして「ファイル」にある「ドライブにコピーを保存…」をクリック。

「Prepare environment」下の再生ボタンをクリック。

続いて「Download script and pretrained model」下の再生ボタンをクリック。

「Switch off off-screen rendering」下の再生ボタンをクリック。

ここまで完了したら、「Please upload」下の再生ボタンをクリック。

そして「ファイル選択」をクリックして、3D写真化したい画像を選択。

最後に「Execute the 3D Photo Inpainting」下の再生ボタンをクリック。

すべて完了したら左メニューの「更新」をクリック。

「3d-photo-inpainting」の中の「video」フォルダ内に出力された3D写真がMP4形式で保存されています。

というわけで、ムービー形式で出力される3D写真は以下の通り。大戸屋で食べた「かつお彩りちらしと稲庭風うどん」がより立体的に表現されていました。

画像から3D写真を生成してみるとこんな感じ - YouTube


なお、使用可能な画像形式はJPEGのみなので注意が必要です。