1万6000個のGPUを搭載した世界最速のAIスーパーコンピューターをMetaが構築中

FacebookやInstagramの運営元として知られ、メタバース事業に注力しているMetaが、現在稼働中のAIスーパーコンピューターの中で最速だという「AI Research SuperCluster(RSC)」を構築していることを発表しました。すでにRSCは稼働していますが、記事作成時点でも構築は続いており、2022年半ばに完全に構築を終えると1万6000個のGPUを搭載した「世界最速のAIスーパーコンピューター」になる見込みだとのことです。

Introducing the AI Research SuperCluster — Meta’s cutting-edge AI supercomputer for AI research
https://ai.facebook.com/blog/ai-rsc

Meta Collaborates with NVIDIA on AI Research Supercomputer | NVIDIA Blog
https://blogs.nvidia.com/blog/2022/01/24/meta-ai-supercomputer-dgx/

Meta's Massive New AI Supercomputer Will Be 'World's Fastest'
https://www.hpcwire.com/2022/01/24/metas-massive-new-ai-supercomputer-will-be-worlds-fastest/

Meta has built an AI supercomputer it says will be world’s fastest by end of 2022 - The Verge
https://www.theverge.com/2022/1/24/22898651/meta-artificial-intelligence-ai-supercomputer-rsc-2022

AI(人工知能)の開発には、秒間数十億回の演算能力を備えた、計算用に特化した「AIスーパーコンピューター」が必要です。

Metaが発表したRSCは完成を目指して構築が進められており、2022年半ばに完全体となれば、世界最速のAIスーパーコンピューターになる見込みです。すでにMetaの研究者はRSCを用いて自然言語処理やコンピュータービジョンの大規模モデルの学習を開始しており、将来的には、数兆のパラメーターを持つモデルの学習を目指す予定です。

2013年に「Facebook AI Research Lab」を設立して以来、Meta(当時Facebook)はAIに対して長期投資を行っており、2017年にはNVIDIA V100 TensorコアGPUを2万2000基搭載した第1世代のAIスーパーコンピューターを構築。1日に3万5000回のトレーニングジョブを実行しました。

RSCには「NVIDIA DGX A100」が760基搭載されています。1基のDGX A100に対して、V100より強力なNVIDIA A100 TensorコアGPUが8基搭載されているため、GPUの総計は6080基。さらにストレージは175PB(ペタバイト)、キャッシュは46PB、Pure StorageFlashBladeは10PBだとのこと。

RSCは、V100を搭載した従来機と比べて、コンピュータービジョンワークフローを最大で20倍高速に実行可能。また、NVIDIA Collective Communication Libraryも9倍以上高速に実行し、数百億のパラメーターを持つモデルのトレーニングを3週間で完了できる性能があります。

なお、この状態はあくまで「フェイズ1」相当で、完全に構築された「フェイズ2」ではDGX A100が1000基に増え、GPU総数は1万6000基になります。