IntelがAIアクセラレータ「Gaudi 3」を発表、NVIDIAのH100より高速かつ低消費電力で一部テストではH200にも勝利

IntelがAIアクセラレータ「Gaudi 3」を2024年4月9日に発表しました。Gaudi 3はAI学習性能とAI推論性能の両面でNVIDIAのAI特化GPU「H100」よりも高い性能を発揮するそうです。

Intel Gaudi 3 AI Accelerator
https://www.intel.com/content/www/us/en/products/details/processors/ai-accelerators/gaudi3.html

Intel Breaks Down Proprietary Walls to Bring Choice to Enterprise GenAI Market
https://www.intel.com/content/www/us/en/newsroom/news/vision-2024-gaudi-3-ai-accelerator.html#gs.7pyw4a

Intel Unleashes Enterprise AI with Gaudi 3, AI Open Systems Strategy and New Customer Wins :: Intel Corporation (INTC)
https://www.intc.com/news-events/press-releases/detail/1689/intel-unleashes-enterprise-ai-with-gaudi-3-ai-open-systems

Gaudi 3はIntelの第5世代Tensor Processor Core(TPC)を64コア搭載し、6万4000もの並列処理が可能な行列乗算エンジン(MME)を8コア搭載。計算処理性能は1835TFLOPSに達しています。また、メモリ帯域幅3.7TB/sのHBM2eメモリを128GB搭載し、SRAMも96MB搭載。これにより、大規模言語モデルやマルチモーダルAIモデルの学習や推論に十分なメモリを確保しています。さらに、200ギガビットイーサネットを24ポート搭載することで大規模なコンピューティングクラスタの構築にも対応しています。

Intelのテスト結果では、Gaudi 3はNVIDIAのH100と比べて「Llama2 7B」「Llama2 13B」「GPT-3 175B」といった大規模言語モデルの学習時間を50％短縮できるとのこと。また、「Llama 7B」「Llama 70B」「Falcon 180B」の推論速度がH100と比べて50％高速になることや電力効率が40％向上することも確認されています。さらに、NVIDIAが2024年中の発売を予定しているH200に対しても、「Llama 7B」「Llama 70B」「Falcon 180B」において30％高速な推論が可能なことが確認されています。

Gaudi 3は2024年第2四半期にDell、Hewlett Packard Enterprise、Lenovo、SupermicroといったOEMに供給される予定で、一般提供は2024年第3四半期に始まります。また、2024年第4四半期にはGaudi 3のPCIeアドインカードも出荷開始予定です。