1兆2000億のトランジスタ数を誇る世界最大のチップ「Wafer Scale Engine」によるシミュレーションは物理法則を超えるほど爆速

20cm×22cmという世界最大のチップ「Wafer Scale Engine」を搭載したデータセンター用モジュール「Cerebras CS-1」によるシミュレーション速度の検証結果が発表されています。研究チームの発表によれば、「ついに現実の物理法則を超える速度でシミュレーションに基づき予測することが可能になった」とのことです。

[2010.03660] Fast Stencil-Code Computation on a Wafer-Scale Processor
https://arxiv.org/abs/2010.03660

Wafer scale Cerebras CS-1 flexes its muscles in scientific tasks - CPU - News - HEXUS.net
https://hexus.net/tech/news/cpu/146986-wafer-scale-cerebras-cs-1-flexes-muscles-scientific-tasks/

Trillion-transistor chip breaks speed record
https://techxplore.com/news/2020-11-trillion-transistor-chip.html

2019年にスタートアップ企業Cerebras Systemsが、アメリカの国立エネルギー技術研究所と提携し、巨大チップ「Wafer Scale Engine」を開発しました。このWafer Scale EngineはTSMCの16nmプロセスノードを採用しており、1兆2000億個ものトランジスタを搭載し、およそ40万個のスパース線形代数計算コアを搭載した史上最大のコンピューターチップだと話題になりました。

1兆2000億個ものトランジスタを搭載した史上最大のコンピューターチップが開発される - GIGAZINE

そして、このWafer Scale Engineを搭載した、冷蔵庫ほどの大きさのディープラーニングシステムが「Cerebras CS-1」です。

Wafer Scale Engineのコアに搭載されている18GBのSRAMはメモリ帯域幅が9.6P(ペタ)B/sで、100Pbpsで動作する「Swarm」というネットワークファブリックに接続されています。Cerebras Systemは「CS-1は世界で最もパワフルなAI計算システム」とアピールしています。

そして、Cerebras Systemsとエネルギー技術研究所の共同研究チームがCS-1で発電所の燃焼プロセスシミュレーションを行ったところ、合計1万6000コアのIntel Xeonチップを搭載したHP製スーパーコンピューター「Joule 2.0」だと6ミリ秒かかる計算を、CS-1はわずか28マイクロ秒と、200倍以上の速度で計算できたと報告しました。また、「搭載するCPUやGPUの数に関係なく、現時点でのスーパーコンピューターでは、CS-1の性能に匹敵するものはない」と研究チームは豪語しています。

なぜJouleの200倍以上の速度で計算できたのかについて、研究チームは「Jouleで使用されているIntel XeonのキャッシュはSRAMからパフォーマンスを引き出す効果が低く、Intel XeonがWafer Scale Engineのコアに比べて40％のパフォーマンスしか出せないことが原因ではないか」と推測しています。

Cerebras Systemsは「CS-1による作業は科学計算のパフォーマンスにおける大きな進歩への扉を開きます。CS-1は100万個を超える流体セルを、リアルタイムよりも高速にシミュレートするのに十分なパフォーマンスを初めて実証しました。CS-1を使うことで、たとえば火力発電所で現時点の動作条件に関するデータに基づいてリアルタイムでシミュレートすることが可能になります。つまりCS-1は、物理法則が同じ結果を生み出すよりも早く、何が起こるかを予測することができるというわけです」と述べています。

なお、Cerebras Systemsは、次世代のWafer Scale Engineを搭載したCS-2の開発に着手しているとのこと。IT系ニュースサイトのHexusによれば、TSMCの7nmプロセスノードを採用することで、トランジスタ数は2兆6000億、AIコアは85万個と、CS-1の倍以上を目標としているそうです。