ゲームを高解像度化するNVIDIAの「DLSS 5」をVulkanで再実装した「OpenDLSS-NR」、なんとオリジナルとビット単位で完全に一致

NVIDIAが発表したAIによるアップスケーリング技術「DLSS 5」を「Vulkan」で再実装するプロジェクト「OpenDLSS-NR」が登場しました。

GitHub - maanHimself/OpenDLSS-NR: A Vulkan reimplementation of NVIDIA's DLSS 5 Neural Rendering network, bit-exact against the original. · GitHub
https://github.com/maanHimself/OpenDLSS-NR

OpenDLSS-NRでアップスケーリングを行った結果が以下の通り。

OpenDLSS-NRはDLSS 5をVulkanで再実装したもので、「オリジナルとビット単位で完全に一致する」と説明されています。DLSS-NRのビルド310.8.0と同じ71ブロックのSwin/ViTネットワークを、Tensor Core上でFP8を使って実行。中間結果も一致し、最終画像だけでなく、75個すべてのブロック境界が1バイト単位で一致します。エンジンがすでに描画したフレームをOpenDLSS-NRが再レンダリングし、注入されたノイズからディテールを生成。スタイル設定に応じてトーン、構造、肌を調整します。入力と出力は同じ解像度であり、アップスケーラーではありません。同じネットワークをWebGPUでブラウザ上から動かす実装も存在します。

なお、DLSS 5のモデルはユーザー自身で用意する必要があります。

RTX 4070 SUPERで、1フレーム生成するのにかかった最低時間の結果が以下。40フレーム以上制止したときの最小値です。

動作にはWindows、NVIDIA Ada Lovelace以降のGPU、および対応するドライバーが必要。「NVIDIAとは無関係」であることが明言されていて、利用には注意が必要です。