たった1枚の画像から走ったりジャンプしたりできる3Dモデルを生み出す技術が開発される

「写真から3Dデータを作り出す」といえば、モデルをさまざまな角度から撮影した写真をもとに3Dモデリングを行い、モデルの厚みや凹凸を表現するのが一般的です。そんな中で「たった1枚の写真から3Dモデルを作り出す」という技術を、ワシントン大学の研究チームが開発しました。

[1812.02246] Photo Wake-Up: 3D Character Animation from a Single Photo
https://arxiv.org/abs/1812.02246

Photo Wake-Up: 3D Character Animation from a Single Photo
https://grail.cs.washington.edu/projects/wakeup/

This Algorithm Can Create 3D Animations From A Single Still Image
https://futurism.com/algorithm-3d-animations-still-image

ワシントン大学のChung-Yi Weng氏、Brian Curless氏、そしてFacebookに所属するIra Kemelmacher-Shlizerman氏らの研究チームは、たった1枚の写真や絵画をもとに3Dキャラクターを生成し、アニメーションとして自由に動かせる技術「Photo Wake-Up」を開発したと発表しました。

研究チームが開発した技術について説明したムービーがこれ。

Photo Wake-Up: 3D Character Animation from a Single Photo


新たに開発されたPhoto Wake-Upという技術を使うと、たった1枚の写真から……

バスケットボール選手の3Dモデルが生成され、写真から抜け出して走り始めました。

また、壁に書かれた絵画からでも……

人物を3Dモデル化して動かすことが可能。

さらに、大人気漫画・アニメの「ドラゴンボール」の主人公・孫悟空も……

3Dモデルにしてジャンプさせることができました。

また、キュビズムの代表的画家であるピカソの絵画さえも3D化できるとのこと。

絵画の中からキュビズムで描かれた女性がぬっと飛び出して、こちらへ向かって歩いてきました。

また、Photo Wake-UpをAR(拡張現実)に応用して、現実世界から3D化したキャラクターを生み出すことも可能。

ゴーグルをかけた女性が絵画に指を向けると……

絵画から飛び出した女性が走り出しました。

ここで気になるのが、一体どのようにして1枚の写真から3Dモデルを作り出しているのかという点。

Photo Wake-Upではまずは写真を用意して……

写真内の人物を識別し、被写体に変形可能な3Dモデルを重ね合わせます。

そして体の各部分をラベル付けしてマッピングします。

メッシュ生成したパーツを3D化して構成し……

テクスチャーを合成します。

すると、写真の背景から人物の3D化モデルが分離可能となり……

モデルが写真から飛び出しました。

体の厚みや構造までしっかりと3D化されており、たった1枚の写真から作り出されたものだとは思えません。

Photo Wake-Upを使えば白黒写真だろうと……

映画のポスターだろうと映っている人物を自由自在に3Dモデル化できます。

陰影だけで表現された人物だろうと問題なし。

写実的ではない人物画もお手の物。

手軽に人物の3Dモデルを生み出せるだけでなく、AR技術と組み合わせることで新たなアートとの触れ合い方を生み出すこともできそうです。