画像生成AI「Stable Diffusion」を最速で実行できるGPUはどれなのか？

文章(プロンプト)を入力するだけで高精度な画像を生成できるAI「Stable Diffusion」が話題となっていますが、Stable Diffusionは基本的にNVIDIA製GPUを使用することが想定されて設計されているため、使用するGPUによって実行速度が変動してしまいます。そこで、テクノロジー系メディアのTom's Hardwareでライターを務めるJarred Walton氏が、「どのGPUだと最も速くStable Diffusionを実行できるのか？」について調査を行いました。

Stable Diffusion Benchmarked: Which GPU Runs AI Fastest (Updated) | Tom's Hardware
https://www.tomshardware.com/news/stable-diffusion-gpu-benchmarks

複雑なAIを作るには膨大なトレーニング用ハードウェアを積んだサーバーが必要ですが、すでにトレーニング済みのAIを使用するだけであれば、消費者向けPCにも搭載されている一般的なGPUで可能です。基本的にNVIDIA製GPUを想定して作られているStable Diffusionですが、Walton氏は「これはNVIDIA以外のGPUでStable Diffusionを実行できないというわけではありません」と指摘しています。

すでに、Intel製のGPUである「Intel Arc」でStable Diffusionを動作させる方法や、M1・M2チップ搭載Macで実行する方法も公開されています。

画像生成AI「Stable Diffusion」をIntel Arcで動かすことに成功 - GIGAZINE

画像生成AI「Stable Diffusion」をM1搭載Macのローカル上で実行する方法 - GIGAZINE

さまざまなGPUでStable Diffusionを実行するスピードを測定したWalton氏は、NVIDIA製GPUのテストに「AUTOMATIC1111版Stable Diffusion web UI」を、AMDのGPUをテストするために「Nod.ai's Shark version」を、Intel製GPUであるIntel Arcのテストに「Stable Diffusion OpenVINO」を使用したとのこと。

同じプロンプト、ステップ数、CFG(classifier-free guidance)を使用して512×512ピクセルの画像を10回生成し、GPUごとに1秒当たりのイテレーションの平均数を取ったグラフが以下。NVIDIAのRTX 40/30シリーズを緑色、AMDのRX 7000/6000シリーズを赤色、Intel Arcシリーズを青色で示しており、NVIDIA製GPUには通常の計算モデルを使用したバージョンと、より高速な画像生成を可能にするライブラリ「xFormers」を使用したバージョンの結果が含まれています。全体的にNVIDIA製GPUはAMDやIntelと比較して優れたパフォーマンスを発揮しており、xFormersを使用すると数十％の性能向上がみられることがわかります。

今回の調査では、NVIDIAのRTX 40シリーズが最速の結果をもたらし、次にAMD 7900シリーズ、NVIDIAのRTX 30シリーズと続いており、これらと比較するとIntel Arcはかなり遅いという結果になりました。しかし、適切な最適化によってAMDやIntelのGPUにおけるStable Diffusion実行がさらに高速になる可能性は十分に残されており、Walton氏はAMDやIntelのGPUでより良いパフォーマンスを発揮するバージョンが登場するのは時間の問題だと考えています。

また、以下のグラフは各GPUの性能指標であるFLOPSの理論上の最大パフォーマンスを並べたもの。このグラフでもNVIDIAのGPUが突出していますが、実際にStable Diffusionを実行した時には理論上の性能差よりもパフォーマンスの差が小さくなっています。また、Intel Arcも理論上はNVIDIA製GPUに匹敵するパフォーマンスとなっていますが、残念ながら実際のベンチマークでは大きく差を開けられてしまいました。

さらにWalton氏は、2048×1152ピクセルの高解像度画像を生成してテストした結果も公開しています。以下のグラフを見ると、高解像度画像の場合はxFormersによる高速化の影響がより強くなっていることがわかります。なお、AMDのGPUでは動作させることができなかったため、テストしなかったとのことです。

なお、機械学習トレーニング用のシステムを提供しているクラウド企業のMosaicMLは、ゼロからStable Diffusionをトレーニングする時間とコストについて、自社システムを使用すると13日間・16万ドル(約2070万円)未満でトレーニング可能だと報告しています。なお、このコストは、Stable Diffusionの開発企業であるStabilityAIが報告しているものより2.5倍も削減されているとのことです。

Training Stable Diffusion from Scratch Costs ＜$160k
https://www.mosaicml.com/blog/training-stable-diffusion-from-scratch-costs-160k

GitHub - mosaicml/diffusion-benchmark
https://github.com/mosaicml/diffusion-benchmark