ソフトウェア

数枚の2D画像から3D空間を再現する「Toon3D」


数枚の漫画・アニメの手描きの画像から「もっともらしい3D構造」を再現するツール「Toon3D」が公開されました。

Toon3D
https://toon3d.studio/


人間は2D画像から3Dの世界を認識できますが、機械は不得手です。「Toon3D」は、複数枚の画像をもとに、画像には描かれていない空間を補完するツールです。

以下がサンプル映像です。




サンプルで使われた画像が以下。


もう1枚が以下。この2枚の画像を基に、Toon3Dは空間を再現しました。


再現されたシーンはぼやけています。デモでは2枚の画像が使われましたが、本来は3枚以上の画像を使う必要があるそうです。


もうひとつのサンプル映像が以下。



手描きの絵画でも、Toon3Dで再構成することができます。Toon3Dは各画像の奥行きを予測し、点群の位置合わせとワープを行い、ガウス精密化を使って以下のような動画を作成します。



Toon3DはGitHubでも公開されています。

GitHub - ethanweber/toon3d: Code for Toon3D https://toon3d.studio/
https://github.com/ethanweber/toon3d?tab=readme-ov-file

この記事のタイトルとURLをコピーする

・関連記事
3DCGで「輪郭線」を描くのがなぜ難しいのか - GIGAZINE

AIにテキストを入力するだけで3Dの部屋が自動的に生成できる「Text2Room」が開発される - GIGAZINE

ムービーをアニメ風にしたり被写体を変えたり映っていない部分を補完したりできるAI「MagicEdit」が登場 - GIGAZINE

in ソフトウェア,   動画, Posted by log1p_kr

You can read the machine translated English article here.