1枚の画像から高品質な3Dメッシュを高速で生成できる「Unique3D」を試してみた

中国・清華大学の研究チームが、1枚の写真から3Dメッシュモデルを自動生成するフレームワーク「Unique3D」を公開しました。Unique3Dは1方向から撮影された写真から2Dの拡散モデルを応用して被写体の形状を予測し、比較的高速で3Dメッシュモデルを生成することが可能で、無料で使えるオンラインデモも公開されています。

[2405.20343] Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image
https://arxiv.org/abs/2405.20343

GitHub - AiuniAI/Unique3D: Official implementation of Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image
https://github.com/AiuniAI/Unique3D

Unique3Dのオンラインデモは記事作成時点で、オンラインAIプラットフォームのHugging FaceとGradioなどで公開されています。今回はHugging Faceで実際にUnique3Dのデモを使ってみました。

Unique3D - a Hugging Face Space by Wuvin
https://huggingface.co/spaces/Wuvin/Unique3D

上記URLのデモページにアクセスするとこんな感じ。「ここに画像をドロップ -または- クリックしてアップロード」という領域をクリックして、画像をアップロードします。

今回アップロードした画像は、手持ちのスマートフォンでさくっと撮影したiCEOの写真です。

画像をアップロードしたら、右側にある「Generate 3D」をクリックします。

すると、およそ60秒ほどで3Dメッシュモデルが生成されました。

3Dメッシュモデルの正面・左側面・背面の3面を並べたところ。元となったのは正面から撮影した写真1枚のみですが、側面と背面もちゃんとモデリングされています。ただし、生成された3Dメッシュモデルは実物より少し平たくなっている印象。

生成した3Dメッシュモデルは、右上にあるダウンロードアイコンをクリックするとローカルに保存できます。ファイル形式はglTF形式です。

なお、Unique3Dの開発チームによれば、Unique3DにはStable Diffusion・Wonder3d・Zero123Plus・Continues Remeshing・Depth from Normalsのコードを流用しているとのことです。