1億6300万のコアで120兆個のAIパラメーターをトレーニング可能なモンスターマシン「Cerebras CS-2」が発表される

シリコンバレーのチップ製造スタートアップ・Cerebras Systemsが2021年8月24日に、1枚のシリコンウェハーをそのまま使った巨大チップを備えた小型冷蔵庫サイズのディープラーニングシステム「Cerebras CS-2」を発表しました。

セレブラス・システムズ、世界初の脳規模の人工知能ソリューションを発表 | Business Wire
https://www.businesswire.com/news/home/20210824005645/ja/

Cerebras Systems connects its huge chips to make AI more power-efficient | Reuters
https://www.reuters.com/technology/cerebras-systems-connects-its-huge-chips-make-ai-more-power-efficient-2021-08-24/

Cerebras' CS-2 brain-scale chip can power AI models with 120 trillion parameters | VentureBeat
https://venturebeat.com/2021/08/24/cerebras-cs-2-brain-scale-chip-can-power-ai-models-with-120-trillion-parameters/

2016年に設立された半導体メーカーのCerebras Systemsは、シリコンバレーに拠点を置く人工知能システムの開発企業です。同社は2019年に、20cm×22cmという世界最大のチップ「Wafer Scale Engine(WSE)」を発表しました。また、WSEを搭載したディープラーニングシステムの「Cerebras CS-1」は、シミュレーションで「物理法則を超える」と評されるほどの検証結果をたたき出しています。

1兆2000億のトランジスタ数を誇る世界最大のチップ「Wafer Scale Engine」によるシミュレーションは物理法則を超えるほど爆速 - GIGAZINE

Cerebras Systemsが今回新た発表したのは、2.6兆個ものトランジスタを搭載した「Wafer Scale Engine 2(WSE2)」を計算ユニットとして採用した「Cerebras CS-2」です。

同社の発表によると、Cerebras CS-2には計算ユニットとパラメーターストレージを分離することでワークロードの分散モデルを簡素化し、CS-2を1台から最大192台まで拡張可能にする「Cerebras Weight Streaming」、最大2.4ペタバイトの高性能メモリで120兆個のパラメータを持つモデルをサポート可能なメモリ拡張技術「Cerebras MemoryX」、最大192台のCS-2にまたがり最大1億6300万個のAIに最適化されたコアを接続できる通信ファブリックの「Cerebras SwarmX」、スパース性の重み付けを動的に選択できる「Selectable Sparsity」という4つの新技術が盛り込まれているとのこと。

Cerebras CS-2が特に注目されているのが、チップを増設しても電力効率が落ちないという点です。現行のAIに用いられているニューラルネットワークは、1つのチップでは処理しきれないため、通常は複数のチップで分散処理されます。しかし、チップが増えれば増えるほど電力効率は低下するため、ディープラーニングシステム全体の処理能力を増やすには膨大な電力が必要でした。

一方、Cerebras CS-2はチップを増やしても電力効率は変わらないため、処理能力を2倍にした際の消費電力の増加も2倍です。これにより、電力効率を保ちながらCerebras CS-2を最大192台まで拡張して1億6300万個のコアを1つに接続し、人間の脳に匹敵する120兆個のパラメータを持つニューラルネットワークをトレーニングできるとされています。

Cerebras Systemsの共同設立者であるアンドリュー・フェルドマン氏は発表声明の中で、「GPT-3のような大規模ネットワークは、これまで想像もできなかったことを可能にし、自然言語処理(NLP)の状況をすでに変えています。業界では、1兆個のパラメータを持つモデルが登場していますが、私たちはその境界を2桁拡大し、120兆個のパラメータを持つブレインスケールのニューラルネットワークを実現します」とコメントしました。