極限まで遅延を削減することを目指したゲームストリーミング向け動画コーデック「PyroWave」

PCゲームの映像をネットワーク経由で他のデバイスに転送するゲームストリーミングでは、操作の遅延(レイテンシ)を最小限に抑えることが極めて重要です。この処理には通常、H.264やAV1といった「ビデオコーデック」という映像圧縮技術が用いられますが、これらの技術は高い圧縮率と引き換えに遅延を生じさせるジレンマを抱えています。そこで、グラフィックスエンジンプログラマーであるThemeister氏が、潤沢な帯域幅が利用できる家庭内LANなどの環境を想定し、遅延を極限まで削減することを目標に設計した「PyroWave」というコーデックを発表しています。

I designed my own ridiculously fast game streaming video codec – PyroWave – Maister's Graphics Adventures
https://themaister.net/blog/2025/06/16/i-designed-my-own-ridiculously-fast-game-streaming-video-codec-pyrowave/

Themaister/pyrowave
https://github.com/Themaister/pyrowave

PyroWaveはフレーム間の差分情報を利用する一般的な「モーション予測」を廃止し、全てのフレームを個別に圧縮する「Intra-only」方式を採用しています。これによりデータサイズは増加しますが、処理が単純化され、エラー耐性も向上するとのこと。さらに、GPUでの並列処理の妨げとなる「エントロピー符号化」というデータ圧縮工程も省略し、徹底的な高速化を図っています。

PyroWaveは、多くのコーデックが採用するDCT(離散コサイン変換)の代わりに、「離散ウェーブレット変換(DWT)」という技術を基盤にしています。これは、画像を複数の周波数帯域、すなわち全体的な構造を示す「低周波成分」と、輪郭などの細部を示す「高周波成分」へと分解する手法で、画像の特性に応じた効率的な圧縮が可能になります。

DWTで分解されたデータは、「量子化」という工程で情報量を削減します。これはデータの精度を意図的に落とす処理ですが、PyroWaveでは人間の視覚特性を利用しているのが特徴。人間の目は細かいディテール(高周波成分)の変化には比較的鈍感であるため、そちらのデータをより粗く量子化することで、知覚的な画質の劣化を抑えつつデータ量を大幅に削減します。

さらに、PyroWaveは、多数のコアで並列処理を行うGPUのアーキテクチャに最適化されており、画像をブロック単位で並行処理することで、高速なエンコードを実現します。また、エントロピー符号化を廃したことで、レート制御、すなわちデータ量の管理が非常に容易になったとのこと。PyroWaveであれば、画像内の各ブロックについて「品質の低下」と「データ削減量」のバランスを正確に計算し、目標のデータ量にほぼ誤差なく収めることができるとThemeister氏は述べています。

PyroWaveは1080pの映像1フレームを1ミリ秒を大幅に下回る時間でエンコード可能。これは、非圧縮の映像をPC内部のバスで転送するよりも高速な場合があるほどで、この処理速度がそのまま遅延の短縮に直結するため、ユーザーの体感品質を大きく向上させます。

例えば、ゲーム「Clair Obscur: Expedition 33」では、緑の植物が多く、TAAノイズも含まれているため、画像圧縮にとっては「過酷な」テストケースとされています。

パフォーマンス解析図を見ると、PyroWaveで1080p解像度の映像をエンコードするのに、RX 9070 XTというGPU上でわずか0.13ミリ秒(130.738マイクロ秒)しかかかっていないことがわかります。

より負荷の低い「普通の」ゲームをエンコードした際のパフォーマンス解析図がこれ。この場合のエンコード時間は約80マイクロ秒で、より負荷の軽いシーンでは性能が向上することがわかります。

PyroWaveは、一般的な用途ではなく「超低遅延のローカルストリーミング」というニッチな領域に特化することで、既存の技術を凌駕するパフォーマンスを達成しました。Themeister氏は「このプロジェクトは、特定の目的に合わせて技術を大胆に取捨選択することの重要性を示す好例と言える」とコメントし、自信をのぞかせました。