AIでリアル映像から3DCGのバーチャル世界を生成する方法をNVIDIAが公開、3D環境構築のコストが大幅カット可能に

NVIDIAが世界で初めて「現実世界の映像から3DCGのバーチャル環境を構築」可能なAIを開発することに成功しました。AIが生成する3DCGの仮想環境は、自動運転車の訓練やゲーム、VRにも利用可能であり、従来の方法よりも3D環境を構築するために必要となる時間とコストが格段に削減できるようになります。

NVIDIA Invents AI Interactive Graphics - NVIDIA Developer News CenterNVIDIA Developer News Center
https://news.developer.nvidia.com/nvidia-invents-ai-interactive-graphics/?ncid=so-you-ndrhrhn1-66582

NVIDIAのAIが現実世界の映像からどのような3D環境を作り出すことができるのかは、以下のムービーで確認できます。

Research at NVIDIA: The First Interactive AI Rendered Virtual World - YouTube

「これは世界初のAIがインタラクティブにレンダリングしたバーチャル世界です」

という文字のあとに現れたのは、レースゲームをしている人物。

このディスプレイ上に表示されている映像は、グラフィックエンジンを用いて生成されたものではなく、AIが「現実世界の映像を変換して作成した3DCG」です。

条件付き生成ニューラルネットワークを用いることで、現実の映像でニューラルネットワークを訓練し、新しい3D環境をレンダリングできるようにAIを開発したのがNVIDIAのTing-Chun Wang氏。AIに関する(PDF)研究論文も公開されています。

「もしも現実世界のムービーをベースに新しい世界を生成できるAIモデルを訓練することができたならどうなるでしょうか？」

そんな理想を現実のものとしたのが、NVIDIAが開発したAI。現実世界のムービーから、AIは3DCGのバーチャル世界を作り出すことが可能です。

「ディープネットワークを用い、機械学習とコンピューターグラフィックスを融合させて画像生成を行うという初めての試みです」と語るのは、Wang氏と共にAI開発に取り組んだNVIDIAの研究者であるMing-Yu Liu氏。

「現実の街の映像を用い、ニューラルネットワークが都市環境をレンダリングできるよう学習させる」

AI学習用のデータとして、研究者たちは都市部を自動車で走る映像を利用。

さらに、別のセグメンテーションネットワークを使用することで、一連の映像から高レベルの意味抽出が可能になるよう工夫を凝らしているとのこと。

それがどういうことかというと、Unreal Engine 4を用いて映像を色分けすることで、映像内の物体を種類ごとにレイヤー分けし、異なる色をつけていきます。例えば以下の映像の場合は道路が白、自動車が黄色、建物は青緑となっており、物体と物体の境界線を正しく認識できていることがわかります。

その後、ネットワークがこの表現を画像に変換。これが現実の映像をAIがバーチャル映像に変換する大まかな流れです。

「この研究はNeurIPSで発表されたNVIDIAのAI研究に基づいています」

そして、このAIを用いることで現実の映像をデジタル映像に変換する以外にどのようなことができるのかというと、「僕の共同著者に江南スタイルを踊らせることもできます」とWang氏。

用意するのは江南スタイルのムービーだけ。

これを基にまるでLiu氏が江南スタイルをキレキレに踊るムービーが完成。

「これは機械が作った映像です。私じゃありません」とLiu氏が照れ気味に語ってムービーは終了しました。