1枚のイラストや写真から3D空間を生成できるAIモデル「HunyuanWorld-Mirror」が登場、マルチアングル入力や動画入力にも対応し競合モデルより高品質

中国の大手テクノロジー企業であるテンセントが生成AIモデル「Hunyuan World 1.1(HunyuanWorld-Mirror)」を公開しました。HunyuanWorld-Mirrorは画像を元に深度を再現した3D空間を生成することが可能。さらに、単一の画像だけでなく複数のアングルからの画像や動画の入力にも対応しています。

腾讯混元3D
https://3d-models.hunyuan.tencent.com/world/

HunyuanWorld-Mirrorの生成例が以下。1枚の画像をもとにグリグリ動かせる3D空間を生成可能です。

生成された3D空間を横から見るとこんな感じ。トンネルの奥行きが再現されています。

実写風の画像だけでなく、アニメやイラスト風の画像にも対応しています。

ただし、画像に含まれる情報をもとに3D空間を構築しているだけなので、画像に含まれていない部分を補完することはできません。このため、単一の画像から3D空間を生成する場合は空白部分が多くなります。

HunyuanWorld-Mirrorは複数の視点からの画像や動画の入力にも対応しており、より精密な3D空間を生成できます。以下は左から順に「入力した画像」「Metaとオックスフォード大学が共同開発したVGGTで生成した3D空間」「HunyuanWorld-Mirrorで生成した3D空間」「正しい3D空間」を並べたものです。VGGTでは物体同士の位置関係が破綻してしまうことがありますが、HunyuanWorld-Mirrorは破綻を抑えながら3D空間を生成できます。

テンセントは以下のリンク先でHunyuanWorld-Mirrorのデモアプリを公開しており、あらかじめ用意されている画像や自分で用意した画像を用いて3D空間を生成することができます。

HunyuanWorld-Mirror - a Hugging Face Space by tencent
https://huggingface.co/spaces/tencent/HunyuanWorld-Mirror

また、HunyuanWorld-Mirrorのモデルデータは以下のリンク先で配布されています。

tencent/HunyuanWorld-Mirror · Hugging Face
https://huggingface.co/tencent/HunyuanWorld-Mirror