Microsoftが独自の大規模言語モデル「MAI-1」を開発中との報道、Google・OpenAI・AnthropicのAIモデルと競合可能なレベルとも

Microsoftが独自の大規模言語モデル(LLM)「MAI-1」の開発に取り組んでいると報じられています。このMAI-1は、GoogleのGeminiやOpenAIのGPT-4、AnthropicのClaudeといった最先端のAIモデルに匹敵する可能性があるそうです。

Meet MAI-1: Microsoft Readies New AI Model to Compete With Google, OpenAI — The Information
https://www.theinformation.com/articles/meet-mai-1-microsoft-readies-new-ai-model-to-compete-with-google-openai

New Microsoft AI model may challenge GPT-4 and Google Gemini | Ars Technica
https://arstechnica.com/information-technology/2024/05/microsoft-developing-mai-1-language-model-that-may-compete-with-openai-report/

Microsoft reportedly developing MAI-1 AI model with 500B parameters - SiliconANGLE
https://siliconangle.com/2024/05/06/microsoft-reportedly-developing-mai-1-llm-500b-parameters/

Report: Microsoft Working on ‘Far Larger’ In-House AI Model
https://www.pymnts.com/artificial-intelligence-2/2024/report-microsoft-working-on-far-larger-in-house-ai-model/

Microsoft is developing its own large language model with 500 billion parameters
https://mspoweruser.com/microsoft-is-developing-its-own-large-language-model-with-500-billion-parameters/

Microsoftは自社製品でOpenAIの最新AIを利用するべく、2023年1月に同社に対して数千億円規模の出資を行い、長期的なパートナーシップを締結しました。MicrosoftとOpenAIの関係は時間の経過と共に深まっており、両社は1000億ドル(約15兆4000億円)規模のデータセンタープロジェクトを計画中とも報じられています。

Microsoftは独自のAIアシスタントであるMicrosoft Copilotにおいて、OpenAIのLLMであるGPT-4 Turboを利用しています。しかし、新たに独自のLLMを開発中であるとThe Informationが報じました。

Microsoftが開発中の独自LLMは「MAI-1」と呼ばれており、開発チームを率いるのは元GoogleのAI開発チームのリーダーであるムスタファ・スレイマン氏。同氏がMicrosoftで新設されたAI部門「Microsoft AI」のCEOに就任したことは、2024年3月に発表されています。

Google DeepMindの共同創設者がMicrosoftで新設されたAI部門「Microsoft AI」のCEOに就任 - GIGAZINE

MAI-1はMicrosoftが買収したスレイマン氏の立ち上げたAIスタートアップ・Inflectionのテクノロジーをベースに構築されている可能性があるものの、プロジェクトに詳しい内通者は「MAI-1は全く新しいLLMである」と語りました。

報道によると、MAI-1は約5000億ものパラメーターを備えており、Microsoftの過去のオープンソースAIモデルのPhi-3などよりもかなり多くのパラメーターを有していることがわかります。ただし、実行にはより多くのコンピューティング能力とトレーニングデータが必要になると、テクノロジーメディアのArs Technicaは指摘。パラメーター数が5000億に到達することで、MAI-1はOpenAIのGPT-4と同等のパフォーマンスを発揮できるようになると目されています。

なお、OpenAIはGPT-3の初期バージョンには1750億ものパラメーターを有していると説明していましたが、GPT-4のパラメーター数については公表していません。ただし、一部の報道ではOpenAIの主力LLMには1兆7600億ものパラメーターがふくまれると報じられており、GoogleのGemini Ultraも1兆6000億ものパラメーターを有していると報じられています。一方で、MetaやMistralが開発するLLMのパラメーター数は700億前後であるため、MAI-1はこれらをはるかに上回るLLMになるとのこと。

Microsoftが開発するMAI-1は、モバイルデバイス向けの「ローカルで実行される小規模なLLM」と「クラウドを活用した最先端のLLM」という2つのアプローチに焦点を当てたものである可能性が示唆されています。実際、パラメーター数が5000億にもなると、消費者のデバイス上でローカルに動作させるには「複雑すぎる」とSiliconANGLEは指摘しています。なお、独自のLLMを開発中であるとウワサされているAppleもMicrosoftと同様に「ローカルで実行される小規模なLLM」と「クラウドを活用した最先端のLLM」という2つのアプローチを検討していると報じられています。

この報道について、Ars Technicaは「OpenAIのテクノロジーは現在、Windowsに組み込まれたチャットボットのCopilotなど、Microsoftの最も野心的な生成AI機能を支えています。しかし、Microsoftが独自のLLMを開発しているという報道は、同社のAI分野への意欲を強調するものです」と指摘しました。

The Informationに情報を提供した匿名の人物のひとりは、MAI-1の正確な目的はMicrosoft社内でも決められていないと証言しています。なお、MAI-1をトレーニングするために、MicrosoftはNVIDIA製のGPUを備えた大規模なサーバークラスタを利用しており、GPT-4によって生成されたテキストやインターネット上から収集したさまざまなデータを利用しているそうです。

MicrosoftはMAI-1を早ければ2024年6月下旬に開催予定の開発者カンファレンス・Microsoft Buildで発表する可能性があるとのことです。