映像から立体モデルを構築する技術がついに「物体の形状の変化」にまで対応した「HyperNeRF」をGoogleの研究者らが開発

画像や映像から立体イメージを作り出す技術である「Neural Radiance Fields(ニューラル・ラディアンス・フィールド：NeRF)」はこれまで、表情の変化や壊れゆく物体のように対象が形を変えるシーンには対応できませんでした。今回新たに、Googleとワシントン大学の研究者らが開発した「HyperNeRF」は、従来の技術をさらに発展させて物体の形の変化にも対応できるようになっています。

HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields
https://hypernerf.github.io/

HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields - YouTube

ワシントン大学のクンホン・パク氏やGoogleのウトカルシュ・シンハ氏らの研究チームが2020年に発表した「Nerfies」は、NeRFの改良によりじっとしていられない犬の動画(左)からでも犬の正確なモデル(中央)を作ることを可能とした技術です。

しかし、物体の形状の変化にはうまく対応できないので、表情を大きく変える人の顔などを入力すると……

口が奇妙な形にゆがんでしまいます。

一方、Nerfiesをさらに改良した「HyperNeRF(左)」では、この問題が解決されています。

そのため、顔の形が変わるほど大きく表情を変えていても、元の顔の造形に忠実なイメージが得られます。

もちろん、顔以外にも対応しています。キャプチャした画像では少しわかりにくいですが、従来のNerfies(右)ではバーナーであぶられている物体がえぐれたようになっているのに比べて、HyperNeRF(左)では揺らめく火もモデル化できています。

手を動かして作業する映像でも……

手で隠れる部分の構造をきちんと把握できました。

HyperNeRFの改良は、レベルセット法をヒントに行われました。レベルセット法とは、立体モデルに仮想的な高次元から見た「物体のスライス画像」の情報を加えることで物体の詳細な構造も加味したモデルを構築するというもの。

従来のレベルセット法では、スライス画像に平面を利用していましたが……

HyperNeRFは平面を曲げるという発想により、さらに効率的かつ正確に被写体をモデル化できるようになりました。

その結果、従来は定点に固定された複数のカメラで撮影した映像が必要だったのに対し、スマートフォンでの撮影のように単一のカメラで、しかも揺れ動いてさまざまな角度からの撮影になってしまうような場合でも、物体の変化を正確に捉えることができるようになっています。例えば、クッキーを割るシーンや……

カップに注がれるコーヒー。

高速で動く3Dプリンターなどでも、鮮明かつ破綻が少ないモデル化が実現できるとのことでした。