ハードウェア

NVIDIA製AI特化チップ「H100」を搭載したシステムがAI処理ベンチマーク「MLPerf Training 4.0」の9つのテストすべてでトップに


複雑になりがちな機械学習のパフォーマンスを標準化するべく設計されたベンチマーク「MLPerf Training」のバージョン4.0が登場し、複数のハードウェアで実行されました。その結果、NVIDIAの高性能GPU「H100」を搭載したシステムが優れたスコアを示しました。

MLPerf Training Benchmark - 1910.01500v3.pdf
(PDFファイル)https://arxiv.org/pdf/1910.01500

MLPerf Training Results Showcase Unprecedented Performance, Elasticity | NVIDIA Blog
https://blogs.nvidia.com/blog/mlperf-training-benchmarks/

Nvidia Conquers Latest AI Tests​ - IEEE Spectrum
https://spectrum.ieee.org/mlperf-nvidia-conquers

ベンチマーク結果は以下から確認できます。

Benchmark MLPerf Training | MLCommons Version 2.0 Results
https://mlcommons.org/benchmarks/training/

結果は、これまでで最大となる1万1616個のNVIDIA H100 GPUを搭載したシステムがトップでした。2023年に計測された最大のシステムは3584台のH100を搭載していて、今回の規模は前回のおよそ3倍。GPT-3のトレーニングトライアルを、1024個のIntelハードウェアだと67分かかったところ、1万1616個のH100を積んだシステムは3分半未満で突破したそうです。


NVIDIAは、「Stable Diffusion v2のトレーニング性能も、前回提出されたものと同じシステム規模で最大80%高速化しました。これらの進歩は、NVIDIAソフトウェアスタックに対する多数の機能強化を反映したものであり、ソフトウェアとハードウェアの改良が、いかにトップクラスの性能を実現するために手を取り合っているかを示しています」と述べました。

NVIDIAはソフトウェアスタックへ多数の最適化を施していて、512個のH100で構成されたシステムは1年前と比較して最大27%高速化したとのこと。NVIDIAは「継続的なソフトウェアの強化が、同じハードウェアであっても、いかにパフォーマンスを大幅に向上させることができるかを浮き彫りにしています」と指摘しています。


MLPerf Training 4.0では、初めてLLama 2 70BのLoRA微調整とGNN(グラフニューラルネットワーク)のベンチマークが導入されています。NVIDIAはこの両方で優れた性能を発揮し、GPUを8個から1024個まで拡張した規模のGPUは1.5分でベンチマークを完了。GNNではH100を搭載したプラットフォームが優れたスコアを出し、H200はシングルノードのGNNトレーニングにおいてH100と比較して47%の向上を実現したとのことです。

なお、NVIDIAはH100の後継であるH200について「141GBのHBM3メモリと、H100と比較して40%以上のメモリ帯域幅を持つHopperアーキテクチャの強みを基盤としています。AIトレーニングで可能なことの限界を押し広げるH200は、MLPerfトレーニングのデビュー戦において、H100のパフォーマンスを最大47%向上させました」と述べました。

この記事のタイトルとURLをコピーする

・関連記事
「NVIDIA H100 GPU」を2万4576基搭載して「Llama 3」などのトレーニングに活用されているGPUクラスターの情報をMetaが公開 - GIGAZINE

IntelがAIアクセラレータ「Gaudi 3」を発表、NVIDIAのH100より高速かつ低消費電力で一部テストではH200にも勝利 - GIGAZINE

AMDのAI特化型チップ「MI300X」がNVIDIA製チップ「H100」と同等の環境で最大2.1倍のパフォーマンス性能を発揮したことが報告される - GIGAZINE

機械学習に最適とされる「NVIDIA H100」の代替になり得る「NVIDIA L40S」の性能とは? - GIGAZINE

「NVIDIA H100」を1000個以上積んだ高性能医学研究用コンピューティング・システムの構築をマーク・ザッカーバーグ夫妻が発表 - GIGAZINE

in ハードウェア, Posted by log1p_kr

You can read the machine translated English article here.