AIを作るAIを作る

人工知能(AI)はデータのパターンを識別して学習するため、とにかく十分なデータと処理能力が必要です。AI開発現場における処理能力の要請は年々増大しており、AIの開発者は数百万から数十億のパラメータを注意深く調整しなければいけません。これを達成するために設計された「ハイパーネットワーク」について、インドの作家兼ジャーナリストのアニル・アナンサスワーミー氏が解説しています。

Researchers Build AI That Builds AI
https://www.quantamagazine.org/researchers-build-ai-that-builds-ai-20220125/

人工知能の構築には「最適化」と呼ばれるプロセスで限りなく理想に近い値を見つけていくことが肝要ですが、ここに到達するためにネットワークをトレーニングすることは簡単ではありません。そんな難解なプロセスについて、Googleと同じAlphabet傘下の人工知能企業DeepMindで調査研究員を務めるピーター・ベリコビック氏は「この難しさはすぐに変わるかもしれません。カナダにあるゲルフ大学のボリス・ナイヤゼフ氏らが設計した『ハイパーネットワーク』は、新しいトレーニングプロセスをスピードアップするほか、理論的にはパラメータを数分の1秒で予測してトレーニングを不要にする可能性があります」と機械学習全体への影響を述べています。

アナンサスワーミー氏によると、2022年1月時点では確率的勾配降下法(SGD)という方法がディープニュートラルネットワークをトレーニングおよび最適化する最良の方法とのこと。SGDとは、ネットワークのパラメータを調整してエラーや損失を減らすために多数のデータを集め、損失が最小になるまで反復するプロセスのこと。

しかし、SGDは最適化するネットワークができて初めて機能するため、初期のニューラルネットワークを新しく構築する際には、エンジニアの直観と経験則に頼る必要があります。そこで、GoogleBrainの客員研究員であるメンゲ・レン氏らは2018年に、ディープニューラルネットワークのアーキテクチャを点と点、つまりノードとノードを結んだ線で表す数学的な「グラフ」と捉えるという発想を基にした新しいアプローチとして「グラフハイパーネットワーク(GHN)」を設計しました。GHNの仕組みは、最適化が必要な候補アーキテクチャにとって理想的なパラメータを予測し、それを基に特定のタスクを繰り返して候補アーキテクチャをランク付けして、最も優れたパフォーマンスを発揮するアーキテクチャを選択するというもの。

ナイヤゼフ氏のハイパーネットワークもGHNのアイデアを基に構築されており、ナイヤゼフ氏らが2021年10月に発表した論文では、用意した候補から最適なアーキテクチャを見つけるだけではなく、絶対的な意味で最適なパラメータを予測する方法が示されました。レン氏はナイヤゼフ氏らの論文について、「私たちがやったことよりもはるかに多くの実験が含まれています」と称賛しています。ナイヤゼフ氏のチームは、このハイパーネットワークを「GHN-2」と呼んでいるそうです。

ある画像データセットについて、GHN-2が予測して導く分布内アーキテクチャの平均精度は66.9％になり、SGDが2500回反復してトレーニングされたネットワークで達成される平均精度69.2％に近い数値を記録したとのこと。データセットが大きくなるとGHN-2はうまく機能しなくなるそうですが、それでもSGDがトレーニングして得た精度と大きく遜色はなく、最も重要な点として、GHN-2は圧倒的な速度で予測を行っています。ナイヤゼフ氏は「GHN-2は驚くほど優れた結果を出しています。GHN-2はエネルギーコストを大幅に削減します」と述べています。

ナイヤゼフ氏はGHN-2にはまだ改善の余地があり、すぐに採用されることは難しいと語りつつも、ハイパーネットワークの普及によってビッグデータを持つ企業以外でも新しいディープニュートラルネットワークを設計・開発することができると、「ディープラーニングの民主化」の可能性を長期的な将来の展望として示しています。