テキストの説明と超ざっくりしたイラストから高クオリティな画像を生成可能な「Make-A-Scene」をMetaが発表

近年では、適当な落書きから風景画像を生成するNVIDIAの「NVIDIA Canvas」や文章から画像を生成できるOpen AIの「DALL・E 2」など、AIを用いたペイントツールがいくつか登場しています。新たにFacebookを運営するMetaが、テキストによる説明とざっくりしたイラストを組み合わせ、より精度の高い画像を生成できるAIペイントツール「Make-A-Scene」を発表しました。

New AI Research Tool Turns Ideas Into Art | Meta
https://about.fb.com/news/2022/07/metas-new-ai-research-tool-turns-ideas-into-art/

Greater creative control for AI image generation
https://ai.facebook.com/blog/greater-creative-control-for-ai-image-generation/

Meta's 'Make-A-Scene' AI blends human and computer imagination into algorithmic art | Engadget
https://www.engadget.com/metas-make-a-scene-ai-algorithmic-art-130058753.html

多くのAIペイントツールは「病院にウシがいる」「自転車に乗っているシマウマ」など、入力されたテキストに基づいて画像を生成します。ところが、テキストによる説明だけでは頭に思い描いたものを正確に反映したイラストが生成される可能性が低く、「違う構図がいいのに」「自転車に比べてシマウマがでかすぎる」といった不満点が出てしまうことも少なくありません。

そこでMetaは、テキストによる説明と自由形式の単純なスケッチを組み合わせ、より思い描いたものに近いイラストを生成できるAIペイントツール「Make-A-Scene」を開発しました。「Make-A-Scene」がどのようなAIペインティングツールになっているのかは、以下のツイート埋め込みムービーを見るとよくわかります。

タッチペンで何かを描いている手。

「Make-A-Scene with AI」という枠の右側に、何やらざっくりしたイラストが描かれています。

これに「A painting of an ocropus under the sea, jellyfish in the sky at night(海の下にタコがいて、夜空にクラゲがいる絵)」というテキストを入力。

すると、単体では何だかわからなかったイラストから……

海の下にいるタコと夜空を飛ぶ何かの生き物らしきイラストが生成されました。

同じイラストとテキストの組み合わせから、複数のイラストを生成することも可能です。

それぞれのイラストには異なる味があります。

Metaはこれ以外にも、公式サイトで複数のイラスト生成例を公開しています。「A colorful sculpture of a cat(カラフルなネコの彫刻)」というテキストとイラストを組み合わせた例がこれ。

また、Metaは研究開発プロセスの一環として、Make-A-Sceneのデモへのアクセスを複数のAIアーティストと共有しているとのこと。実際にAIアーティストのスコット・イートン氏が、「Skyscrapers in the desert(砂漠の中の高層建築)」というテキストとざっくりしたイラストから生成したものがこれ。イートン氏は、「Make-A-Sceneは他の最先端のアート生成AIシステムにはない制御のレベルを提供します。テキスト説明だけでは制約が多く、暗闇の中をさまようようなことがしばしばあります。構図をコントロールできることは、アーティストやデザイナーにとって強力な機能拡張となります」とコメントしています。

Metaは、「AIを使用して人間の創造性を高めることは、テクノロジーの強力な使用法です」「AIシステムがコンテンツを生成するだけでは十分ではありません。AIが創造的な表現を推進する可能性を実現するには、システムが生成するコンテンツをアーティストが形作り、制御できる必要があります」「Make-A-Sceneは、まさにそれを実行する生成AI研究ツールです」と述べました。