たった数単語入力するだけでワードに沿った風景画像を生成してくれるAI「GauGAN2」のデモを使ってみた

「sunset at a beach(ビーチの夕日)」や「mountains next to a lake(湖畔の山)」といった短い文章を入力するだけで瞬時にリアルな画像を作るAI「GauGAN2」を、大手半導体メーカー・NVIDIAの研究機関であるNVIDIA Researchが開発しました。GauGAN2のデモサイトも公開されているので、実際に使ってみてわずか数語の説明からどのような画像を生成するのかを確かめてみました。

gaugan.org/gaugan2/
http://gaugan.org/gaugan2/

NVIDIA Research's GauGAN AI Art Demo Responds to Words | NVIDIA Blog
https://blogs.nvidia.com/blog/2021/11/22/gaugan2-ai-art-demo/

GauGAN2はNVIDIAのスーパーコンピューター・Seleneを使用して、1000万枚の高品質な風景画像で訓練されたAIです。研究チームは「冬」「霧」「虹」といった単語と画像の関係を学ぶニューラルネットワークを用いて、言葉を入力すると画像が生成できるようにしたとのこと。

早速GauGAN2の実力を確かめるため、デモサイトにアクセスしました。デモサイトはウェブページの表示サイズが大きいため、ノートPCや小さめのスクリーンを使っている人は表示サイズを縮小すると見やすくなります。

まずはページ下部にあるメッセージや利用規約を確認し、「Check this box if you agree to the terms and conditions described below.」の右端にあるボックスにチェックを入れます。このチェックを入れない限り、デモサイトでGauGAN2を試用することはできません。

続いて画面上部にある「Input utilization」の項目から「segmentation」のチェックを外し、「text」にチェックを入れます。これで文章を入力し、GauGAN2に画像を生成させる準備が整いました。

上部にある「Input text」のフォームに「sunset at a beach(ビーチの夕日)」と入力。そして下にある右向きの矢印ボタンをクリックすると……

右側のタイルに「ビーチの夕日」の画像が生成されました。少し太陽の形がゆがんでいるものの、ほぼ写真に近いクオリティです。

上部にあるさいころボタンをクリックすると……

同じワードを基にして生成された別の画像がランダムで表示されます。

上部右側に並んでいるサムネイル画像をクリックすると……

近いイメージの画像が生成されました。

また、文章を「sunset at a beach」から「watermelon at a beach(ビーチのスイカ)」に変更して矢印ボタンをクリックすると……

明らかにスイカではないものの、文章に応じて生成される画像が変わっていることが確認できました。

「floating ship at a sea(海に浮かぶ船)」だとこんな感じ。

「mountain covered with snow(雪に覆われた山)」だとこれ。細かい物体や人工物を指定しない方が、より違和感の少ない画像が生成されるようです。

また、画像下部にあるフォルダアイコンをクリックすると……

生成した画像をダウンロードすることが可能です。

今回ダウンロードした画像がこれ。

また、ページ上部の左向きの矢印ボタンをクリックすると……

生成した画像を左のキャンバス画面にコピーすることが可能。キャンバス上で画像を編集することで、右側の画像を修正することができます。

ためしに「real image magic wand eraser」を選択して……

キャンバスの空にあたる部分を消してみました。

この状態で、左側の「Landscape(風景)」タブから「Clouds(雲)」を選択し、右向きの矢印ボタンをクリックすると……

空の部分が雲で覆われた画像が生成されました。