IBMが合計20年かけて開発した「NorthPole」チップの存在が明らかに、脳にインスパイアされた設計でAIの高速化が可能

カリフォルニア州アルデマンにあるIBM研究所が、前身のチップと合わせると20年かけて研究してきたという新タイプのデジタルチップ「NorthPole」の存在が明らかになりました。開発陣のダルメンドラ・モーダ氏によると、脳の計算方法からインスピレーションを得ることで、コンピューターチップの基本構造を改めたとのことです。

Neural inference at the frontier of energy, space, and time | Science
https://www.science.org/doi/10.1126/science.adh1174

IBM Research's new NorthPole AI chip | IBM Research Blog
https://research.ibm.com/blog/northpole-ibm-ai-chip

‘Mind-blowing’ IBM chip speeds up AI
https://www.nature.com/articles/d41586-023-03267-0

IBM has made a new, highly efficient AI processor | Ars Technica
https://arstechnica.com/science/2023/10/ibm-has-made-a-new-highly-efficient-ai-processor/

コンピューターのチップは半導体が誕生して以来ほぼ同じノイマン型の基本構造をしていて、処理ユニットと処理される情報を保存するメモリは別個になっています。これによって数十年にわたり、シンプルな構造で十分な拡張が行われてきましたが、代わりに「ノイマンボトルネック」が発生し、メモリやプロセッサ、その他のデバイス間でデータが継続的に行き来するにあたって時間とエネルギーがかかってきました。

そんな中、IBMのモーダ氏らの研究チームは2014年に、脳からインスピレーションを受けたというチップ「TrueNorth」を開発.

IBMの「脳」を模した超省電力チップ「TrueNorth」が着実に進化、ネズミの脳レベルに到達 - GIGAZINE

さらに8年かけて、モーダ氏らはニューラル推論用の新タイプのデジタルAIチップ「NorthPole」の研究・開発を進めてきました。

NorthPoleを搭載したプロトタイプデバイスで、人気の画像認識モデル「ResNet-50」と物体検出モデル「YOLOv4」のテストを行ったところ、フレームあたりに必要な電力ジュール数で考えると、エネルギー効率は一般的な12nmプロセスGPUや14nmプロセスGPUと比較して25倍と優秀で、遅延もどのチップよりも少なかったとのこと。

NorthPoleの従来品との最大の違いは、256個のコアにそれぞれ独自のメモリが搭載されているところで、既存のあらゆるチップより高速にAI推論を実行可能だそうです。

モーダ氏は「アーキテクチャ的に、NorthPoleはコンピューティングとメモリの境界を曖昧にします。個々のコアのレベルでは、NorthPoleはニア・メモリ・コンピューティング(memory-near-compute)に見えますが、チップの外側や入出力のレベルからはアクティブメモリに見えます」と説明しています。

ただし、NorthPoleの最大の利点は同時に制約でもあり、オンボードメモリからしか簡単に引き出せないという問題があるとのこと。各コアには十分なメモリを搭載しているものの、このメモリは「何でも屋」としての動作を想定したものではなく、「あくまでNorthPoleは推論専用です」とモーダ氏は述べています。