GoogleがNVIDIA H100 GPU搭載のAI特化型スパコン「A3」を発表

Googleが2023年5月11日の開発者向けイベント「Google I/O」で、AIのトレーニングと稼働に特化したスーパーコンピューター「A3」を発表しました。

Introducing A3 supercomputers with NVIDIA H100 GPUs | Google Cloud Blog
https://cloud.google.com/blog/products/compute/introducing-a3-supercomputers-with-nvidia-h100-gpus/?hl=en

Google Launches AI Supercomputer Powered by Nvidia H100 GPUs | Tom's Hardware
https://www.tomshardware.com/news/google-a3-supercomputer-h100-googleio

Googleは今回のカンファレンスで、同社のチャットAI・Bardを強化する大規模言語モデル「PaLM 2」を発表しました。これは、GoogleマップやGoogleフォト、GmailなどGoogleの製品全体にAIを取り入れた機能を追加する上での基礎となるものです。

Googleが大規模言語モデル「PaLM 2」を発表、すでに25のGoogleサービスに導入済み - GIGAZINE

こうした機能が普及するにつれて、無数のユーザーによる膨大なAIアプリケーションへのアクセスが発生するため、クラウドにはかなりの処理能力が求められます。そこで注目されるのが、Googleが新しく発表したスーパーコンピューターであるA3 GPU VMです。発表によると、A3スーパーコンピューターはNVIDIAのHopperアーキテクチャを採用したH100 GPUを8基搭載しており、スループットは従来の3倍に上るとのこと。

心臓部には2TBのDDR5-4800メモリとIntelの第4世代Xeonスケーラブル・プロセッサーを採用しており、8基の各GPUはNVIDIAのNVSwitchとNVLink 4.0による毎秒3.6TBの二分バンド幅で接続されています。

こうした機械学習に特化した専用設計により、A3は最大26EFLOPSのAIパフォーマンスを発揮し、大規模なモデルのトレーニングかかる時間とコストを大幅に削減します。

Googleによると、A3はホストCPUをバイパスして200Gbpsでデータを共有できるGPU間データインターフェースを実稼働レベルで導入した最初の製品になるとのこと。IPU(Infrastructure Processing Unit)と呼ばれるこのインターフェースにより、A3のVMが活用できるネットワーク帯域幅はA2の10倍に向上しています。

NVIDIAのハイパースケールおよびハイパフォーマンスコンピューティング担当ヴァイス・プレジデントであるイアン・バック氏は、「次世代のNVIDIA H100 GPUを搭載したGoogle CloudのA3 VMは、ジェネレーティブAIアプリケーションのトレーニングと展開を加速させます。当社が、Google Cloudが最近開始したG2インスタンスに続きGoogle Cloudと協力し、目的に応じたAIインフラで世界中の企業の変革を支援できることを誇りに思います」と話しました。