2014年08月06日 15時02分ソフトウェア

画像に写っているオブジェクトを3D化してぐりぐり動かせるようにする技術

写真や絵画などの二次元データに写ったオブジェクトを後から立体化し、画面上に好きな位置や角度で配置し直せる技術「3D Object Manipulation in a Single Photograph using Stock 3D Models」(既存3Dモデルデータを用いた単一画像上での3Dオブジェクト操作)が開発されています。

3D Object Manipulation in a Single Photograph using Stock 3D Models
http://www.cs.cmu.edu/~om3d/

この技術を使うと、指の上に載せられた小さな折り鶴が……

ぱたぱたと羽ばたきを始めるという、驚きの効果を得ることができるようになっています。

その技術の詳細は以下のムービーで解説されており、まるで魔法のように画像が動き出す様子が収められています。

3D Object Manipulation in a Single Photograph using Stock 3D Models: Full Length Video

とある部屋を写した1枚の写真。一脚の赤い椅子が写っていますが、どうやらこれが動き出すようです。

とはいえ、通常の方法だと画像の一部を切り取って移動させたり、拡大・縮小、角度の回転などの加工がやっと。

しかし、現実の世界ではこのように移動させたり……

ひっくり返すなどの動きを加えることができるものです。

そんな動きを画像データ上で可能にさせるのが「3Dオブジェクトマニピュレーション」の技術。写真と3Dモデルデータを組み合わせることで、もとは2次元だった画像を3D化して動かすことが可能になりました。

3Dモデルは一般的な形式を使うことができるようになっており、ムービーではIKEAのIKEA Home Plannerからダウンロードできるデータが使われています。

3Dデータを上からかぶせた画像がこちら。しかし、背景とイマイチ融け合っていない感じが残っています。

ワイヤーフレームで描画された椅子の3Dデータに写真の画像をテクスチャマッピングすると、自然な仕上がりにはなりますが……

当然ながら、写真で見えなかった部分は再現できていません。

元画像と3Dデータ、そして光源を組み合わせて合成処理を行うことで、自然な3Dデータとして再現するのが3Dオブジェクトマニピュレーションの技術です。

左から、元の3Dデータ、画像をマッピングした状態、そして処理後の完成形を並べてみると、その違いは明らかです。

処理には専用のソフトウェアを用います。まずは立体空間を定義づけるために、縦と横にそれぞれ2本ずつ基準線を引きます。

こちらの例ではバナナの画像をもとにワイヤーフレームを調整しています。まずはベースとなるワイヤーフレームを画像上に配置。

ワイヤーをマウスでドラッグして、画像にピッタリと重なるように調整します。

調整が終わったら、仮想光源を設定。

オブジェクトとの位置関係を元に、陰影が描画されます。

それらをすべてレンダリングして画像を作成。

しかし、画像でありながらバナナの配置は自由に移動できるようになっていました。

街を走るイエローキャブが……

わらわらと増殖しました。単なるコピペのようにみえて、実際には配置する場所によって角度がきちんと変わっているのが通常の画像加工とは大きな違いです。

そして、ふわりと浮かんだと思ったら、そのまま飛んでいってしまいました。

紙の上におかれたペンが動き出したり……

絵画で表現された果物が動いてしまったりもします。

画面上で左側へ向かって飛ぶ戦闘機の編隊も……

こちらへ飛んでくるかのような向きに変えることができます。

驚きの画像処理を可能にする技術となっているわけですが、その詳細は13ページにわたる論文で数式などを交えて詳細に解説されているので、興味がある人は参照してみても面白いかもしれません。

3D Object Manipulation in a Single Photograph using Stock 3D Models - SIGGRAPH2014.pdf
(PDFファイル)http://www.cs.cmu.edu/~om3d/papers/SIGGRAPH2014.pdf