Googleが推論モデルの処理に最適化した第7世代TPU「Ironwood」を発表、1チップ当たり192GBのメモリを搭載し1ポッド当たりの性能は最強スパコン「El Capitan」の24倍以上

GoogleはAI処理プロセッサ「TPU」を独自開発しています。新たに、第7世代TPU「Ironwood」が2025年4月9日に登場しました。

Ironwood: The first Google TPU for the age of inference
https://blog.google/products/google-cloud/ironwood-tpu-age-of-inference/

Ironwoodの見た目はこんな感じ。IronwoodはMixture of Experts(MoE)を採用した大規模言語モデルや、高度な推論タスクを実行できる推論モデル向けに最適化されています。

MoEモデルや推論モデルを高速処理するには、大規模な並列処理と効率的なメモリアクセスが必要です。Ironwoodは帯域幅7.4TbpsのHBMを1チップ当たり192GB搭載しており、1チップ当たりの処理性能は4614TFLOPSです。また、1つのポッドに最大9216個のIronwoodチップ搭載可能で、1ポッド当たりの処理性能は42.5E(エクサ)FLOPSに達します。Googleは「世界最大のスーパーコンピューターであるEl Capitanの処理性能は1ポッド当たり1.7EFLOPSである。IronwoodはEl Capitanと比べて24倍以上のパフォーマンスを発揮する」とアピールしています。

各世代のTPUの「1W当たりの処理性能」を示したグラフが以下。IronwoodはTrilliumと比べて1W当たりの処理性能が2倍に強化されています。

各世代のTPUの1ポッド当たりの性能を比較したグラフが以下。Ironwoodは2023年に登場したTPU v5pの10倍以上の性能を発揮します。

Ironwoodは2025年後半に利用可能になる予定です。