中国の研究チームが新たなAI「悟道2.0」を発表、パラメーター数は1兆7500億でGoogleとOpenAIのモデルを上回る

中国政府による資金援助を受けている北京智源人工知能研究院が主導する研究チームが2021年6月1日、新たな事前学習モデルである「悟道2.0(WuDao 2.0)」を発表しました。悟道2.0は1兆7500億ものパラメーターを使用しており、これはOpenAIやGoogle傘下のGoogle Brainが開発した事前学習モデルを上回る数だとのことです。

US-China tech war: Beijing-funded AI researchers surpass Google and OpenAI with new language processing model | South China Morning Post
https://www.scmp.com/tech/tech-war/article/3135764/us-china-tech-war-beijing-funded-ai-researchers-surpass-google-and

China's gigantic multi-modal AI is no one-trick pony | Engadget
https://www.engadget.com/chinas-gigantic-multi-modal-ai-is-no-one-trick-pony-211414388.html

China Says WuDao 2.0 AI Is an Even Better Conversationalist than OpenAI, Google | Tom's Hardware
https://www.tomshardware.com/news/china-touts-wudao-2-ai-advancements

悟道2.0は非営利の研究機関である北京智源人工知能研究院を中心として、複数の機関に所属する100人を超える研究者らによって開発された深層学習モデルです。パラメーター数は1兆7500億に達しており、OpenAIが2020年6月に発表した言語処理モデル「GPT-3」の1750億や、Google Brainが開発した言語処理モデル「Switch Transformer」の最大1兆6000億という数を上回るものだと北京智源人工知能研究院の研究者らは主張しています。

パラメーターは機械学習モデルによって定義される変数であり、学習によってモデルが進化するにつれてパラメーターは洗練され、より正しい結果を得ることが可能になります。そのため、一般的にはモデルに含まれるパラメーター数が多いほど機械学習モデルは洗練される傾向があるとのこと。

悟道2.0は合計4.9TBのテキストおよび画像データで訓練されており、この訓練データには中国語と英語のテキストをそれぞれ1.2TBずつ含んでいるとのこと。また、画像生成や顔認識といった特定のタスクに特化した深層生成モデルとは違い、エッセイや詩を書いたり、静止画像に基づいて補足する文章を生成したり、文章の説明に基づいて画像を生成したりすることもできるそうです。

北京のAI研究者であるBlake Yan氏は、「巨大なデータセットで訓練されたこれらの洗練されたモデルは、特定の機能に使用する場合、少量の新たなデータしか必要としません。なぜなら、人間と同じようにかつて学習した知識を新たなタスクに転用できるためです」とコメント。すでに悟道2.0はスマートフォンメーカーのXiaomiをはじめとする22の企業と提携していると、サウスチャイナ・モーニング・ポストは報告しています。

北京智源人工知能研究院のZhang Hongjiang院長は、「大規模な事前学習モデルは、汎用人工知能へ向かう最良の近道の1つです」と述べ、悟道2.0が汎用人工知能を見据えたものだと示唆しました。

なお、中国政府は北京智源人工知能研究院に多額の投資を行っており、2018年と2019年だけで3億4000万元(約58億5000万円)の資金が提供されたとのこと。アメリカ政府も2020年に、AIと量子コンピューティングに1000億円超の投資を行うことを発表するなど、米中間におけるテクノロジー競争は激化しています。

テクノロジー系メディアのTom's Hardwareは悟道2.0の発表について、AIの性能においては必ずしもパラメーターの数だけが重要ではなく、データセットの量や内容も重要だと指摘。たとえばGPT-3はわずか570GBのデータで訓練されましたが、このデータは事前処理によって45TBのデータセットからしぼられたデータだったとのこと。そのため、「悟道2.0に関連する生の数値は印象的ですが、モデルのパフォーマンスを示すものではない可能性があります」と主張しました。