ニューラルネットワークで生成されたGTA「GAN Theft Auto」が公開される

2つのニューラルネットワークに競合させることでデータ学習の精度を高める敵対的生成ネットワーク(GAN)を用い、「Grand Theft Auto V(グランド・セフト・オートV：GTA V)」風のゲームを自動生成する「GAN Theft Auto」をYouTuberのsentdexさんが作成・公開しました。

GitHub - Sentdex/GANTheftAuto
https://github.com/sentdex/GANTheftAuto/

Playing a Neural Network's version of GTA V: GAN Theft Auto - YouTube


GAN Theft Autoは、NVIDIAが作成したゲーム生成AIの「GameGAN」をベースとしています。GAN Theft AutoのベースとなったGameGANは、ゲームエンジンやコードを用意することなく、ゲームのプレイムービーだけでパックマンのゲームそのものを再現することが可能というAIです。

NVIDIAのAIが5万本のプレイ動画を見ただけで「パックマン」をゲームエンジンなしに再現 - GIGAZINE

by WishItWas1984

そんなGameGANをGTA Vの再現に特化させたのが、GAN Theft Autoです。sentdexさんは学習用のデータを収集するために、GTA Vの中で自動車を運転するためのMODを作成。このMODは自動でステアリングコマンドを入力したり、速度を変更したりすることで、GTA V内のさまざまな環境データを収集する役に立っています。実際にMODを使ってGTA V内のデータを収集する様子は以下のムービーの通り。

GAN Theft Auto data collecting demo - YouTube


sentdexさんはこのMODを公開していませんが、MODを駆使して収集したサンプルデータセットを提供しています。GAN Theft Auto以外のAIモデルで興味深い結果が得られるケースがある場合は、「気軽に完全なデータセットの提供についてご連絡ください」とのこと。

なお、GAN Theft AutoはオープンソースでGitHub上で公開されています。

GitHub - Sentdex/GANTheftAuto
https://github.com/sentdex/GANTheftAuto/

GTA V風のゲームとしてGANが出力したGAN Theft Autoの中で、プレイヤーが実際に自動車を走らせることも可能。なお、GAN Theft AutoはPythonのオープンソース機械学習ライブラリであるPyTorchを使用しています。

GAN Theft Autoは、出力したデータの視認性を高めるために4倍のアップスケーリングおよびアップサンプリングに対応。実際にどのくらい画質が向上するのかは以下の通りで、左がアップスケーリング前、右がアップスケーリング後の画像です。