AmazonがAWS向けのプロセッサ「Graviton4」とAIトレーニング用チップ「Trainium2」を発表

Amazonがカンファレンス「AWS re:Invent 2023」の中で、機械学習トレーニングやAIトレーニングを含む幅広いワークロードでパフォーマンス向上を実現するプロセッサ「Graviton4」と「Tranium2」を発表しました。

AWS-Unveils-Next-Generation-AWS-Designed-Chips
https://press.aboutamazon.com/2023/11/aws-unveils-next-generation-aws-designed-chips

Join the preview for new memory-optimized, AWS Graviton4-powered Amazon EC2 instances (R8g) | AWS News Blog
https://aws.amazon.com/jp/blogs/aws/join-the-preview-for-new-memory-optimized-aws-graviton4-powered-amazon-ec2-instances-r8g/

AWSでは150を超える、異なるGravitonベースのAmazon EC2インスタンスが提供されていて、200万個以上のGravitonプロセッサにより、F1やニールセン、Pinterest、Stripeなどを含む5万件以上の顧客がさまざまなワークロードを実行しています。

クラウドに大規模なインメモリデータベースと分析ワークロードが導入されるにつれ、要求はどんどん厳しくなっていきます。これをクリアするのが、2021年11月に発表されたGraviton3の後継プロセッサである「Graviton4」です。

Graviton4はGraviton3と比べてコアが50％増、メモリ帯域幅が75％増で、計算能力が最大で30％向上しているほか、Amazon EC2で実行されている幅広いワークロードに対して、最高のコストパフォーマンスとエネルギー効率を実現するとのこと。

Graviton4は新しいメモリ最適化インスタンスのR8gインスタンスで利用可能で、高性能データベースやメモリ内キャッシュ、ビッグデータ分析などメモリ負荷の高いワークロードが改善されます。また、すべての高速物理ハードウェアインターフェイスを完全に暗号化することでセキュリティが向上したとのこと。

R8gインスタンスは、現行のR7gインスタンスと比較して、vCPUが最大3倍、メモリも3倍という性能を備えているため、ワークロード実行時に結果が得られるまでの時間が短縮されて、最終的なコストの削減につながることが期待されています。

Graviton4ベースのR8gインスタンスはプレビューを経て、今後数カ月以内に一般への提供が予定されています。

一方、Trainium2は機械学習チップ「Trainium」の最新版で、従来に比べてトレーニングが最大で4倍高速になります。Trainium2はAmazon EC2 Trn2インスタンスで利用可能で、単一のインスタンスにTrainium2チップが16個搭載されています。Trn2 インスタンスはEC2 UltraClusterを用いてEC2 UltraClusterを最大10万チップへスケールアップし、AWS Elastic Fabric Adapter(EFA)ペタビットスケールネットワーキングと相互接続することで、最大で毎秒65EFlopsというスーパーコンピュータークラスのパフォーマンスを利用できるようにすることを目的としています。こうした仕組みを利用することで、従来は3000億パラメータの大規模言語モデルのトレーニングに数カ月かかっていたのを数週間に短縮できると述べられています。

また、基礎モデルや大規模言語モデルをわずかな時間でトレーニングできるため、エネルギー効率も最大で2倍向上したとのこと。

Trainium2ベースのTrn2インスタンスの提供時期は発表されていません。