1兆2000億個ものトランジスタを搭載した史上最大のコンピューターチップが開発される

機械学習やディープラーニング専用のチップを製作するスタートアップCerebras Systemsは、史上最大のコンピューターチップとなる「Wafer Scale Engine」を開発したと発表しました。Wafer Scale Engineは20cm×22cmというサイズで、なんと1兆2000億個ものトランジスタが搭載されているとのことです。

Cerebras - Eclipse Ventures - Medium
https://medium.com/@Eclipse_Ventures/cerebras-e055074377b3

Cerebras Systems unveils a record 1.2 trillion transistor chip for AI | VentureBeat
https://venturebeat.com/2019/08/19/cerebras-systems-unveils-a-record-1-2-trillion-transistor-chip-for-ai/

Cerebras SystemsはWafer Scale Engineについての詳細を、2019年8月19日にスタンフォード大学で開催されるマイクロプロセッサ・マイクロコンピューター関連のカンファレンス「Hot Chips」で発表しました。

Wafer Scale Engineは4万2225mm²の面積に40万基のSLA(スパース線形代数)コアが並び、コアの接続帯域幅は100Pb/sだとのこと。処理用としては最大規模のチップであり、これまで最大とされたNVIDIAのデータセンター用GPUであるTesla V100の56.7倍ものサイズだそうです。

2002年にIntelが発表した64ビットマイクロプロセッサのItaniumは2億2100万個のトランジスタを搭載していました。しかし、Wafer Scale EngineはItaniumのおよそ5000倍となる1兆2000億個。IBM POWER9の新モデルでも搭載しているトランジスタは80億個ということを考えると、Wafer Scale Engineの規模のすさまじさがよくわかります。

また、Wafer Scale Engineには18GBのSRAMが搭載されていて、9Pb/sのメモリ帯域幅がうたわれています。製造はTSMCの16nmプロセスによるものだとのこと。

ただし、これだけ巨大なチップになると、ウェハー上にあるコアの中にどうしても欠陥品が含まれてしまいます。通常ならば欠陥のある不良なチップは廃棄されてしまいますが、Wafer Scale Engineの場合は40万基以上ものコアを搭載していることもあり、欠陥でコアの一部が使用できなくなることを想定した冗長な設計が行われているとのことです。

また、巨大チップには製造だけではなく冷却の問題もあります。コンピューターのキーボードほどのサイズとなるチップを冷却するには従来の空冷システムであるヒートシンクとファンでは追いつかないため、クーラントが通るパイプを取り付けて直接チップ冷却する水冷式システムを取り付ける必要があるとのこと。チップが大きすぎて従来のパッケージには収まらないため、Cerebras SystemsはWafer Scale Engine専用でカスタマイズされた冷却システムとコネクタを用意しているそうです。

これまでに類を見ない規模のチップとなったWafer Scale Engineですが、もちろん個人のPC向けのものではなく、機械学習やディープラーニングの実験を行うデータセンターなどで使われることを想定されています。Wafer Scale Engineは特にアシスタントのAIや自動運転車などの大規模な開発プロジェクトで活躍するとCerebras Systemsは予想しています。