Metaが文章から違和感ゼロの動画を生成するAI「Emu Video」＆文章で指示して画像を編集できるAI「Emu Edit」を発表

Metaが文章から動画を生成できるAI「Emu Video」と文章で指示して画像を編集できるAI「Emu Edit」を2023年11月16日(木)に発表しました。合わせて、両AIで生成できる動画や画像の例を集めたデモサイトも用意されています。

Emu Video and Emu Edit: Our latest generative AI research milestones
https://ai.meta.com/blog/emu-text-to-video-generation-image-editing-research/

Emu Video | Meta
https://emu-video.metademolab.com/

Emu Edit
https://emu-edit.metademolab.com/

◆Emu Video
Emu Videoは文章(プロンプト)を元に4秒間の動画を生成できます。生成できる動画の解像度は512×512ピクセルで、フレームレートは毎秒16フレームです。以下の画像をクリックすると「A panda bear driving a car.(車を運転するパンダ)」というプロンプトで生成したムービーを確認できます。

「An astronaut playing with sparklers for Diwali, photorealistic(ディワリに花火で遊ぶ宇宙飛行士)」というプロンプトでは以下のようなムービーが生成されます。フレーム同士のつながりが非常に自然で、1本のムービーとして違和感なく成立しています。

Emu Videoを用いて生成したムービーは以下のデモサイトでも確認できます。

Emu Video | Meta
https://emu-video.metademolab.com/#/demo

◆Emu Edit
Emu Editはプロンプトに従って画像を編集できるAIです。Emu Editによる画像編集の例は次のとおり。

まず、オリジナル画像が以下。

「Replace the book with a laptop(本をノートPCに変更)」と入力すると画像内の本の部分だけが編集されてノートPCに置き換わりました。

「Dress it with a blue hoodie(青色のパーカーを着せて)」

「Make it a cyber room(サイバーな部屋にして)」

「Add stickers to the laptop(ノートPCにステッカーを貼って)」

「Replace the speakers with drinking cans(スピーカーを缶に変更して)」

画像の一部分だけではなく、「Make it watercolor painting(水彩画に変更)」といった画像全体に影響を及ぼす編集も可能です。

Emu Editによる画像編集の例は以下のリンク先でも確認できます。

Emu Edit
https://emu-edit.metademolab.com/#emu-edit-in-action