OpenAIがカスタム推論チップ「Jalapeño」のベンチマーク結果を公開、高スループットと低レイテンシを単一アーキテクチャで両立

OpenAIがBroadcomと共同開発した推論システム向けカスタムチップ「Jalapeño(ハラペーニョ)」についてのブリーフィングを行い、ベンチマークスコアを公表しました。Jalapeñoは通常であればトレードオフの関係にある高スループットと低レイテンシを単一アーキテクチャで実現しているとのことです。

Jalapeño’s first results show industry-leading speed and efficiency in AI inference | OpenAI
https://openai.com/index/jalapeno-first-results/

「Jalapeño」は2026年6月、OpenAIがBroadcomと共同開発した大規模言語モデルに最適なカスタム推論チップとして発表されました。

OpenAIがBroadcomと共同開発したLLM最適推論チップ「Jalapeño」を発表 - GIGAZINE

OpenAIは発表後、JalapeñoおよびJalapeñoを基盤としたシステムのテストを繰り返し実施。「GPT OSS 120B」「DeepSeek R1」「Kimi K2.5 1T」の3モデルでJalapeñoはピークスループット時、1kWあたりのAI処理量を1.5倍～1.9倍に向上させ、エンドツーエンドレイテンシを1.7倍～3.6倍に低減しました。インタラクティブ性の高いワークロードではパフォーマンス向上は2.1倍～4.1倍に上ったとのこと。多くの場合、スループットとレイテンシは両立できずどちらを取るか迫られますが、Jalapeñoの場合、単一アーキテクチャで高いスループットと低いレイテンシの両方を実現しています。

最大デコードスループットが3つのモデルとも向上していることが示されています。

1kWあたりのスループットも従来記録を上回ります。

NVIDIA GB200 STPとの比較も公開されていて、デコード速度で上回ることが示されています。

一方で、レイテンシも低め。

ピーク時および同速度時の混合スループットもJalapeñoが1.9倍以上上回ります。

社内テストでOpenAIの最先端モデルを利用するとJalapeñoの優位性はさらに拡大しており、ワークロードが大きくなり要求が厳しくなるほど、Jalapeñoの価値が高まると示唆されています。

OpenAIは年末までに、社内のコンピューティングインフラストラクチャ内にJalapeñoの第1世代を導入する予定。第1世代のフィードバックをもとに効率と速度が向上していた第2世代は開発が進んでいて、さらに、第3世代も形になりつつあるとのことです。