入力した画像をほぼリアルタイムで好きなスタイルに変更できる「HyperStyle」

NVIDIAが開発した「StyleGAN」は、学習したデータをもとに高画質な画像を生成する技術で、どんどん改良が重ねられています。テルアビブ大学の研究チームは、StyleGANのジェネレーターにおける「再構成性」と「編集可能性」の重み付けを洗練して学習させ、1枚の入力画像に対して2秒以内という早さで効率的に再構成する「HyperStyle」を生み出しました。

HyperStyle
https://yuval-alaluf.github.io/hyperstyle/

[2111.15666] HyperStyle: StyleGAN Inversion with HyperNetworks for Real Image Editing
https://arxiv.org/abs/2111.15666

GitHub - yuval-alaluf/hyperstyle: Official Implementation for "HyperStyle: StyleGAN Inversion with HyperNetworks for Real Image Editing" https://arxiv.org/abs/2111.15666
https://github.com/yuval-alaluf/hyperstyle

たとえば、以下に示された俳優ブラッド・ピットの写真のうち、左はオリジナルのもの。右は入力画像をいったん潜在空間ベクトルに変換し、StyleGANに入力して生成した画像です。

潜在空間ベクトルの変数をいじると出力される画像に変化が出ることが知られていて、たとえば以下のように、入力画像をもとにして髪型を変えたり、年齢を変えたりすることができます。

HyperStyleは、画像の再構成にかかる速度を高めています。以下の画像をクリックすると、入力画像(左側)がただちに生成画像(右側)に反映されていく様子がわかります。

人物の顔写真だけではなく、自動車の写真でテストを行ったムービーもあります。このムービーだと、車体の色やナンバープレートなど、細かい部分で入力画像と違いが出ているのがはっきりとわかります。

以下は、入力画像の顔の特徴を残したまま笑顔・ひげ面・髪型変更をしているムービーです。サンプルになっているのはレオナルド・ディカプリオで、違和感なく見た目が変わっています。

さらに、アニメ風・絵画風にも変更可能です。

研究チームによれば、StyleGANで生成された画像以外への一般化もできるとのことです。