Microsoftが28万5000基のCPUコアと1万基のGPUを搭載したスーパーコンピューターをOpenAIと連携して開発

Microsoftが開発者向けオンラインカンファレンス「Build 2020」で、AIを研究する非営利団体OpenAIとの提携にともなって構築した新しいスーパーコンピューターのサービスをMicrosoft Azureで提供することを発表しました。構築されたスーパーコンピューターは世界上位5位にランクインするほどの性能を誇るとのことです。

Microsoft announces new supercomputer, lays out vision for future AI work - The AI Blog
https://blogs.microsoft.com/ai/openai-azure-supercomputer/

Microsoft teamed up with OpenAI to build a massive AI supercomputer in Azure | TechCrunch
https://techcrunch.com/2020/05/19/microsoft-says-it-teamed-up-with-openai-to-build-a-massive-ai-supercomputer-in-azure/

MicrosoftがOpenAIとの連携により構築したスーパーコンピューターは、OpenAIのAIモデルをトレーニングするために特別に設計されたもの。Microsoftは「次世代の大規模なAIモデルや、それをトレーニングするために必要なインフラを、他の組織や開発者が構築するプラットフォームとして利用できるようにするための最初のステップです」と述べています。

このスーパーコンピューターは28万5000基を超えるCPUコアと1万基のGPUを搭載。さらに各GPUサーバーは400Gbpsという高速ネットワークで構成されており、Microsoft Azureに接続されていますが、OpenAIの専用リソースとして活用されているとのこと。

また、Microsoftは、スーパーコンピューターのランキングを定めるプロジェクト・Top500に基づいて上位5位に入る性能を誇ると自負しています。Microsoftはスーパーコンピューターの詳しい性能は公開していませんが、スーパーコンピューターのランキングでトップ5に入るためには、処理能力が毎秒2万3000TFLOPSを超える必要があります。

画像認識や言語翻訳など、AIは単一タスクに焦点を当てて実装されてきましたが、これからの研究のトレンドとして、複数のタスクを同時に実行できるよな大規模なAIモデル開発に焦点が当てられています。例えば、Microsoftが2020年に公開したAI言語モデルのMicrosoft Turingは、170億ものパラメーターを学習する世界最大の自然言語生成AIで、言語・文法・知識・概念・コンテキストを処理しながらリアルタイムでの会話の管理や何千もの文章検索、GitHubでのコード生成を行います。

by Bob Mical

Microsoftの最高技術責任者(CTO)であるケビン・スコット氏は「自然言語処理では一度に何百もの刺激的なことができ、コンピュータビジョンでは何百もの刺激的なことができます。そして、これらの知覚領域の組み合わせを目にするようになると、今では想像すらできないほど新しいアプリケーションが出てくるでしょう」とコメントしています。

OpenAIのサム・アルトマンCEOは「OpenAIは必要なものやスーパーコンピュータを構成するすべてのコンポーネントのさまざまな限界について多くのことを学ぶたびに、『私たちの夢のシステムを設計することができたら、それはどのようなものになるだろうか？』と話していました。そして、Microsoftがついにそれを構築することができたのです」と語っています。