数百億円超を費やしてMicrosoftがChatGPTの開発元であるOpenAIのためにAI開発用のスパコンを構築

Microsoftは2019年以降、世界中で話題となっているチャットAI「ChatGPT」を開発したOpenAIに対して多額の投資を行っており、ChatGPTをリリースした直後の2023年1月には数十億ドル(数千億円)規模の出資を行い、長期的なパートナーシップを結んだことが発表されました。MicrosoftはOpenAIを支援するため、数億ドル(数百億円)以上を費やしてAI開発用のスーパーコンピューターを構築していたことも明らかになっています。

How Microsoft’s bet on Azure unlocked an AI revolution  - Source
https://news.microsoft.com/source/features/ai/how-microsofts-bet-on-azure-unlocked-an-ai-revolution/

Microsoft Built an Expensive Supercomputer to Power OpenAI's ChatGPT - Bloomberg
https://www.bloomberg.com/news/articles/2023-03-13/microsoft-built-an-expensive-supercomputer-to-power-openai-s-chatgpt

Microsoft spent hundreds of millions of dollars on a ChatGPT supercomputer - The Verge
https://www.theverge.com/2023/3/13/23637675/microsoft-chatgpt-bing-millions-dollars-supercomputer-openai

海外メディアのBloombergによると、Microsoftは2019年に10億ドル(当時のレートで約1100億円)をOpenAIに出資した際、OpenAIのために大規模な最先端スーパーコンピューターを構築することにも同意したとのこと。OpenAIをはじめとするAI開発企業は大規模なAIモデルの開発に当たり、より多くのデータを取り込んでトレーニングする必要があるため、強力なコンピューティングリソースにアクセスできなくてはなりません。

MicrosoftのAzureハイパフォーマンスコンピューティングおよびAI製品責任者であるNidhi Chappell氏は、「調査から学んだことの1つは、モデルが大きいほどデータが多くなり、トレーニング時間が長くなるほどモデルの精度が向上するということです。そのため、より大きなモデルを長期間トレーニングさせるという強力な後押しがありました。つまり、最大のインフラストラクチャーを用意するだけでなく、それを長期間安定して稼働させなくてはならないのです」と述べています。

MicrosoftはOpenAIと緊密に協力し、強力なAIモデルのトレーニングを可能とするスーパーコンピューターの構築と、クラウドサービスを通じたコンピューティングリソースの提供に取り組みました。Microsoftはスーパーコンピューターの構築において、ケーブルトレイの設計からデータセンターのサーバー容量の増加、GPUユニット間の通信の最適化、データセンターが停電しないような電源配置の考案、マシンの冷却といったさまざまな課題に対処したとのこと。

Microsoftのエグゼクティブバイスプレジデントを務めるスコット・ガスリー氏は、プロジェクトに費やされた具体的な金額は明かさなかったものの、Bloombergのインタビューに対して「(数億ドルよりも)おそらく大きい」とコメントしています。

そして2020年、MicrosoftはNVIDIA製のAIおよびデータセンター向けGPUであるNVIDIA A100を1万個接続したスーパーコンピューターを開発し、クラウドコンピューティングサービスのMicrosoft Azureで提供しました。

Microsoftが28万5000基のCPUコアと1万基のGPUを搭載したスーパーコンピューターをOpenAIと連携して開発 - GIGAZINE

Chappell氏は、「私たちは非常に大きな規模で運用でき、信頼性の高いシステム・アーキテクチャを構築しました。これが結果的にChatGPTを可能にしたのです」と述べ、今後さらに多くのモデルがMicrosoftによって構築されたスーパーコンピューターから誕生するだろうとの見方を示しています。

MicrosoftはスーパーコンピューティングリソースをOpenAI以外の顧客にも販売しています。ガスリー氏はBloombergに対して「スーパーコンピューターはカスタムメイドのものとしてスタートしましたが、大規模な言語モデルをトレーニングしたい人々が活用できるよう、一般化するように構築しました。そのおかげで私たちは、より広くAIのための良いクラウドとなることができました」と述べました。

その後もMicrosoftはAI向けインフラストラクチャーを継続して進化させており、2023年3月13日のブログでは8個～数千個のNVIDIA H100 GPUと高速ネットワークを提供するアーキテクチャのQuantum-2 InfiniBandを使用したAI用仮想マシン「ND H100 v5 VM」を発表しました。

Azure previews powerful and scalable virtual machine series to accelerate generative AI | Azure Blog and Updates | Microsoft Azure
https://azure.microsoft.com/en-us/blog/azure-previews-powerful-and-scalable-virtual-machine-to-help-customers-accelerate-ai/

Microsoftはカスタマイズされたサーバーおよびチップの設計、サプライチェーンの最適化、コストの削減といった問題に取り組み続けています。ガスリー氏は、「現在世界を驚かせているAIモデルは、2～3年前に作られ始めたスーパーコンピューターで開発されています。新しいモデルは、私たちが現在取り組んでいる新しいスーパーコンピューターで開発される予定です」と述べました。