初代バーチャファイターのカクカクポリゴンを画像生成AI「Stable Diffusion」で今風のリアル3DCGに高画質化するとすごい

画像生成AIのStable Diffusionは「潜在拡散モデル」と呼ばれるタイプのモデルとなっており、与えられた指示に従って画像を生成するだけでなく、低解像度の画像を高解像度にアップコンバートしたり、画質を保ったまま画像を圧縮したりすることも得意とされています。そんなStable Diffusionを使って、カクカクポリゴンのキャラクターで知られている初代バーチャファイターを今風のリアルな3DCGに変換した画像が話題となっています。

Begone, polygons: 1993’s Virtua Fighter gets smoothed out by AI | Ars Technica
https://arstechnica.com/gaming/2022/10/begone-polygons-1993s-virtua-fighter-gets-smoothed-out-by-ai/

バーチャファイターはセガが開発した3D対戦格闘ゲームで、1993年にアーケードゲームとして登場しました。グラフィックにポリゴン描画を使用しており、キャラクターやステージを3DCGモデルで表現した初の対戦格闘ゲームです。しかし、1993年当時にリアルタイムで3DCGキャラクターを動かすにはキャラクターのポリゴン数が少なくなければならなかったため、見た目がかなりカクカクしているのが、バーチャファイターを元とする30年近く前の3D対戦格闘ゲームの大きな特徴でした。実際にバーチャファイターがどんな見た目のゲームなのかは、以下のムービーを見るとよくわかります。

Virtua Fighter (Arcade, 1993) Real Arcade Hardware Capture - YouTube

CGアーティストのColin Williamson氏は、このバーチャファイターに登場するサラを、Stable Diffusionで今風のリアルな3DCGに書き換えた画像を発表しています。左が初代バーチャファイターのサラで、右がStable Diffusionによってリアルになったサラ。ポリゴン数が一気に増えて髪の生え際や顔の表情、着ている服の材質などがリアルになったほか、背景の夕焼けもより自然な雰囲気になっています。

ジークンドーの使い手であるジャッキーを修正したらこんな感じ。筋肉の盛り上がりやタンクトップがリアルになっており、顔はかなり年を食っているように見えます。

ちなみに本家バーチャファイター5のジャッキーの見た目は以下で、Stable Diffusion版よりもずっと若々しいイメージ。

Virtua Fighter5 公式ウェブサイト - ジャッキー・ブライアント
https://www.virtuafighter.jp/vf5/cha_08.html

そして、バーチャファイターの顔ともいえるアキラをStable Diffusionで修正するとこんな感じ。めちゃくちゃリアルな日本人顔になったことで、アキラというよりもむしろなかやまきんに君に似ている印象で、「10年早いんだよ！」という名セリフよりも「パワー！」と言いそうな雰囲気があります。

葉隠流忍術を使うカゲ(影丸)は、Stable Diffusionが額に巻いている鉢金と鎖かたびらを理解できなかったためか、修正版だと忍者というよりも単なる覆面ファイターといった見た目になっています。

中国拳法の使い手であるラウ・チェン。バーチャファイターのラウは厳しく険しい顔付きに見えますが、なぜかStable Diffusionの修正したラウの顔は目尻が下がっていて、めちゃくちゃ気のいい中華料理屋の店主といった印象。服も非常にキレイな上に、サイズがやや合ってない感じもあり、どことなくコスプレぽい雰囲気が感じられます。

ジェフリーやパイもめちゃくちゃリアルな見た目に。ジェフリーは左腕や体の向きにやや違和感はありますが、顔は超リアル。パイは格闘家というよりも「こういうポーズをしただけの人」といった印象です。

カナダ生まれのプロレスラー・ウルフは割と現実的な見た目。ただし、顔の特徴的なタトゥーがなかったことになっています。

隠しキャラのデュラル。全身が金属のような光沢を持つデュラルの顔は人間と同じ目鼻立ちなのですが、Stable Diffusionだと謎のサイボーグのような見た目に。それでも、ボディのなめらかさや質感はかなりアップしていることがわかります。

Williamson氏は、AUTOMATIC1111版Stable Diffusion web UIのimg2imgを使って修正をおこなったとのこと。もちろんStable Diffusionは一発で思い通りに修正してくれるようなアルゴリズムではないため、細かい調整を行いながら試行錯誤を繰り返す必要があったとのこと。最も大変だったのは服の再現だったそうです。

Williamson氏は、IT系ニュースサイトのArs Technicaに対して「いいプロンプトを見つけたら、50前後のパッチを実行し、最も面白いものを選びます。ネガティブプロンプトを使って『ゴチャゴチャした手を描くな』とAIに命令することも行っています」と答えています。

Williamson氏はまた、1995年に発売されたガンシューティングゲーム「バーチャコップ」のキャラクターもStable Diffusionで修正しています。