NVIDIAがAIおよびHPC向けGPU「H200」を発表、H100と比べて推論速度が2倍でHPC性能はx86 CPUの110倍

NVIDIAがAIおよびハイパフォーマンス・コンピューティング(HPC)向けのGPU「H200」を2023年11月13日(月)に発表しました。H200は前世代モデル「H100」と比べて推論速度が2倍、x86 CPUと比べてHPC性能が110倍になっていることがアピールされています。

H200 Tensor Core GPU | NVIDIA
https://www.nvidia.com/en-us/data-center/h200/

NVIDIA Supercharges Hopper, the World’s Leading AI Computing Platform | NVIDIA Newsroom
https://nvidianews.nvidia.com/news/nvidia-supercharges-hopper-the-worlds-leading-ai-computing-platform

H200はGPUアーキテクチャ「Hopper」を採用したGPUで、AI処理やHPC向けに最適化されています。同じくHopperを採用した前世代モデルのH100はAIの開発に必要な推論および学習において非常に高い性能を発揮し、需要過多によって製品不足に陥るほどの人気を集めました。

新たに発表されたH200には高速かつ大容量なメモリ技術「HBM3e」が採用されており、メモリ容量は141GB、メモリ帯域幅は4.8TB毎秒に達しています。H200は高性能なメモリを採用することでH100と比べて2倍の推論速度を実現しているとのこと。NVIDIAが示したH100(薄緑)とH200(緑)の推論速度比較グラフを確認すると、H200はH100と比較してLlama2 13Bで1.4倍、GPT-3 175Bで1.6倍、Llama2 70Bで1.9倍の推論速度を達成していることが分かります。

また、HPC性能はX86 CPUの110倍で、NVIDIA製GPU「A100」と比べても2倍高性能であることが示されています。

さらに、H200の運用費用や消費エネルギーはH100と比べて半減していることもアピールされています。

H200の詳細な仕様は以下の通り。

なお、H200は4ウェイもしくは8ウェイ構成のNVIDIA HGX H200サーバーボードとして提供される予定で、AIおよびHPC特化型チップシステム「NVIDIA GH200 Grace Hopper Superchip」に組み込むことも可能とされています。