「顔を右に」「口を開く」など画像の動かしたい部分をAIがいい感じに修正してくれるツール「DragGAN」のソースコード＆デモが公開される

AIを使って画像を生成する時、「ちょっとだけ修正を加えたい」と思うことは多いもの。そんな人たちの夢をかなえるツールが「DragGAN」です。DragGANは画像の中で動かしたいポイントを指示するだけでAIが自動で修正してくれるというもので、2023年5月に論文だけが提出されていましたが、2023年6月22日にソースコードが公開され、同時にデモも登場しました。

GitHub - XingangPan/DragGAN: Official Code for DragGAN (SIGGRAPH 2023)
https://github.com/XingangPan/DragGAN

Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold
https://vcai.mpi-inf.mpg.de/projects/DragGAN/

プロジェクトページではどんなことができるのかを紹介するムービーが多数掲載されています。例えば下図のように犬の鼻の上に赤い点をのせ、移動先として指定したい場所に青い点を設定します。

するとAIが赤い点の位置にある物体が青い点の位置に来るように画像を修正してくれます。

これはライオンの口を空ける例。

百獣の王であっても指先一つで思うがままの方向を向かせることができます。

ネコをウインクさせるのも朝飯前です。

車の前後に点を付ければ角度を変更可能。

シャツの袖やズボンの裾の長さも自由自在です。姿勢も修正できます。

山の頂上を伸ばしていきなり巨峰を出現させるなんてことも。点を打つだけなので非常に簡単に操作可能です。

というわけで、実際にデモを使ってみます。デモはHugging FaceのSpacesに設置してありますが、人気が高いためかエラーが頻発します。

何回かリロードしてみると接続できました。

記事作成時点では、デモ版では自分の画像を編集することはできず、AIが生成する画像の修正だけが可能です。生成に用いるモデルは車や馬、猫、ライオンなどが用意されています。

モデルとシード値を設定すると画像が生成されるので、「Add Points」をクリックして「赤い点の位置」→「青い点の位置」の順番でクリックします。さらにクリックするとまた赤い点→青い点と交代で点が打たれていきます。変えたい場所に点を打てたら「Start」をクリック。今回は「頭の位置を上方向に移動」「前脚を手前に移動」という2個の編集を実行してみました。

しばらく待つと下の画像が生成されました。頭の位置を上げる方はかなり上手に成功していますが、足を手前に出すのはいまいち違いが分かりません。

なお、今回公開されたコードで生成する画像には「AI Generated」の透かしを入れる必要があるほか、ライセンスはDragGAN関連部分が「CC BY-NC 4.0」で、それ以外のほとんどのコードが「NVIDIA Source Code License for StyleGAN3」となっており、ともに商用利用は不可となっている点に注意が必要です。