単一の画像を基に周囲360度から見たような画像・アニメーションを制作できる「Splatter Image」が登場

たった1枚の入力画像から画像に写ったオブジェクトの3D形状を出力するレンダラー「Splatter Image」が公開されました。

Splatter Image
https://szymanowiczs.github.io/splatter-image

GitHub - szymanowiczs/splatter-image: Official implementation of `Splatter Image: Ultra-Fast Single-View 3D Reconstruction'
https://github.com/szymanowiczs/splatter-image

「Splatter Image」は、複数の視点から撮影された画像を基にリアルタイムで3D構成を行う技術 「ガウススプラッティング」に基づいていて、初めて単一画像からの3D構成にガウススプラッティングを適用したものだと説明されています。

以下で生成したアニメーションの一例を見ることができます。


通常、ガウススプラッティングでは、点やボクセルを2D画像上に投影し、ガウス関数を関連付け、点やボクセルの情報に広がりを持たせながら2D画像上に表現します。Splatter Imageは、車輪や椅子の脚など、単一の画像では隠れていて見えない要素を予測し、点を適切な位置に割り当てることで隠された部分を表現します。

予測にはモデルのトレーニングが必要ですが、車のオブジェクトについてトレーニングした際は単一のGPUで10分で完了し、標準的なベンチマークにおいて優れた結果を示したとのこと。


この手法は、代替手法よりもコスト面で優れることがアピールされています。