動画

静止画から3Dイメージを作成し天気や撮影時間帯もどんどん変えられる「NeRF in the Wild」


画像を加工する時に、「この被写体の角度をもうちょっと変えられれば……」と考えたことがある人はいるはず。Googleの研究チームが新たに開発した技術は、そんな望みを叶える、「被写体をさまざまな角度からクリアに見られる3Dイメージを静止画から作り出す技術」です。「Neural Radiance Fields」(ニューラル・ラディアンス・フィールド/NeRF)という技術を発展させたすさまじいものになっています。

NeRF in the Wild
https://nerf-w.github.io/

[2008.02268] NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections
https://arxiv.org/abs/2008.02268

「NeRF in the Wild」(野生のNeRF)と呼ばれる技術がどのようなものなのかは、以下のムービーを見るとよくわかります。

NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections - YouTube


研究チームの開発した技術は以下の通り。例えば、ベルリンのブランデンブルク門をさまざまな角度や距離で撮影した写真を組み合わせて、さまざまな角度から確認できる1つのイメージを作成するとします。


通常、画像投稿SNSの「Flickr」などで見つけた写真は、撮影された時間帯がばらばらだったり、被写体までの距離が異なったりで、合成するのが難しいもの。


さらに、被写体単体で撮影された写真ばかりではなく、周囲に人が入りこんでいる写真も多いというのも合成作業における大きな壁です。


新たに開発されたシステムでは、まず撮影場所のビューポイント(撮影地点)と、2枚の静止画から、その光景の核となる「外観埋め込み」を入力します。


次に、光景の中で変化する部分を含む「一時埋め込み」を入力。


この2つを合成して……


さらに、再構築されたイメージから、目標とするイメージに近づけるために「エラー」を取り除くようモデルを訓練します。


研究チームによると、このモデルには、特定のイメージが持つ『不確かな要素』が理由で再構築の際に余計なところまで削除されてしまうことがあり、その点を調整する必要があったとのこと。この特性は、「一時的な要素」を特定して無視する訓練にも役立てられたそうです。


このような訓練を行うことで、「被写体をさまざまなビューポイントから見ることができるイメージ」が完成。


また「外観埋め込み」を変更することで同じビューポイント、かつ異なる状況のイメージを生み出すことが可能です。


完成したイメージがこれ。ブランデンブルク門を右下からあおぎ見る角度から始まり……


ぬるぬると見ている角度が変化。


やや左から門の上部をアップで見たかと思うと……


かなり引いた地点から見ている光景に。


既存のモデルだと、インプットの写真に写っていた障害物の影が濃く映り込んでいましたが、新しいモデルはかなり影が薄くなっています。


トレヴィの泉もこの通り。


オリジナルのNeRFと同様に、新しいモデルも高品質な深度マップを抽出しているとのこと。


また最新のモデルは、外観埋め込みを変更することで、朝・昼・夜・曇り・晴れなど、環境を変化させることが可能というのもポイントです。


最新モデルで出力したイメージが左で、既存モデルで出力したイメージが右。最新モデルの方がライティングがよく、また角度を変えた時の動きも滑らかと、全体的に高品質に仕上がっています。

この記事のタイトルとURLをコピーする

・関連記事
「撮影後に光の方向を変える技術」や「一瞬で人物を合成する技術」などフォトショやイラレに実装されるかもなAdobe MAX「SNEAKS」まとめ - GIGAZINE

クリエイターの祭典「Adobe MAX 2019」イベントまとめ、全世界から1万5000人以上が集まる「つくる人」のお祭りはこんな感じ - GIGAZINE

落書きをリアルな風景写真にリアルタイムで変換できる驚異的なお絵かき技術「GauGAN」をNVIDIAが発表 - GIGAZINE

「モザイク画像の解像度を64倍にする研究」が人種差別の議論に発展、非難を集めた研究者はアカウントを停止 - GIGAZINE

1枚の写真から「存在しないそっくりさん」をAIが自動的に作り出してくれる「Artbreeder」を使ってみた - GIGAZINE

in ソフトウェア,   動画, Posted by logq_fa

You can read the machine translated English article here.