静止画から3Dイメージを作成し天気や撮影時間帯もどんどん変えられる「NeRF in the Wild」

画像を加工する時に、「この被写体の角度をもうちょっと変えられれば……」と考えたことがある人はいるはず。Googleの研究チームが新たに開発した技術は、そんな望みを叶える、「被写体をさまざまな角度からクリアに見られる3Dイメージを静止画から作り出す技術」です。「Neural Radiance Fields」(ニューラル・ラディアンス・フィールド／NeRF)という技術を発展させたすさまじいものになっています。

NeRF in the Wild
https://nerf-w.github.io/

[2008.02268] NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections
https://arxiv.org/abs/2008.02268

「NeRF in the Wild」(野生のNeRF)と呼ばれる技術がどのようなものなのかは、以下のムービーを見るとよくわかります。

NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections - YouTube

研究チームの開発した技術は以下の通り。例えば、ベルリンのブランデンブルク門をさまざまな角度や距離で撮影した写真を組み合わせて、さまざまな角度から確認できる1つのイメージを作成するとします。

通常、画像投稿SNSの「Flickr」などで見つけた写真は、撮影された時間帯がばらばらだったり、被写体までの距離が異なったりで、合成するのが難しいもの。

さらに、被写体単体で撮影された写真ばかりではなく、周囲に人が入りこんでいる写真も多いというのも合成作業における大きな壁です。

新たに開発されたシステムでは、まず撮影場所のビューポイント(撮影地点)と、2枚の静止画から、その光景の核となる「外観埋め込み」を入力します。

次に、光景の中で変化する部分を含む「一時埋め込み」を入力。

この2つを合成して……

さらに、再構築されたイメージから、目標とするイメージに近づけるために「エラー」を取り除くようモデルを訓練します。

研究チームによると、このモデルには、特定のイメージが持つ『不確かな要素』が理由で再構築の際に余計なところまで削除されてしまうことがあり、その点を調整する必要があったとのこと。この特性は、「一時的な要素」を特定して無視する訓練にも役立てられたそうです。

このような訓練を行うことで、「被写体をさまざまなビューポイントから見ることができるイメージ」が完成。

また「外観埋め込み」を変更することで同じビューポイント、かつ異なる状況のイメージを生み出すことが可能です。

完成したイメージがこれ。ブランデンブルク門を右下からあおぎ見る角度から始まり……

ぬるぬると見ている角度が変化。

やや左から門の上部をアップで見たかと思うと……

かなり引いた地点から見ている光景に。

既存のモデルだと、インプットの写真に写っていた障害物の影が濃く映り込んでいましたが、新しいモデルはかなり影が薄くなっています。

トレヴィの泉もこの通り。

オリジナルのNeRFと同様に、新しいモデルも高品質な深度マップを抽出しているとのこと。

また最新のモデルは、外観埋め込みを変更することで、朝・昼・夜・曇り・晴れなど、環境を変化させることが可能というのもポイントです。

最新モデルで出力したイメージが左で、既存モデルで出力したイメージが右。最新モデルの方がライティングがよく、また角度を変えた時の動きも滑らかと、全体的に高品質に仕上がっています。