2020年07月07日 06時00分ハードウェア

人工知能はムーアの法則の何十倍も早いペースで成長している

ムーアの法則は本来「集積回路上のトランジスタ数が1.5年ごとに2倍になる」という傾向を指した法則です。このムーアの法則の5倍から100倍のペースで人工知能(AI)は進歩していると、GeForce Experienceの立ち上げに携わった元NVIDIAのエンジニアであるジェームス・ワン氏が報告しています。

AI Training Costs Are Improving at 50x the Speed of Moore’s Law
https://ark-invest.com/analyst-research/ai-training/

2010～2020年にかけて、AIのトレーニングモデルに費やされるコンピューターの演算処理能力は急激に増加しています。以下のグラフは縦軸が演算処理能力で、「Petaflop/Days」は1日当たり1秒間に4兆回の演算を行うことを意味します。横軸は西暦です。

1958年にパーセプトロンが登場して以来、2010年頃まで演算処理能力は2年ごとに倍増していました。

しかし、2010年から2020年の処理能力は、以下のグラフに示されるように1年ごとにおよそ10倍ずつ、ムーアの法則の5倍以上の速度で成長しているとワン氏は述べています。

GoogleのAlphaGo ZeroやテスラのAutopilotなどのように、大手企業は長期的な投資収益率を期待してAI開発に膨大な予算を投入しており、自社でディープラーニングを行い、大学と共同で研究開発を進めています。

さらに、AIにおけるディープラーニングの訓練コストが毎年10分の1に下がっていることも重要なポイントであるとワン氏は指摘。例えば、2017年頃にはResNet-50のような画像認識ネットワークをパブリッククラウド上で訓練するには約1000ドル(約10万8000円)必要でしたが、2019年には必要なコストが約10ドル(約1080円)にまで下がっています。以下のグラフは縦軸がコスト、横軸が年月で、各点は旧世代のNVIDIA GPUを指すLegacy GPU(黒)、NVIDIAのVolta GPU(青)、GoogleのCloud TPU(赤)です。

2017～2019年までのコストの低下傾向が維持されれば、2020年中にはコスト約1ドル(約108円)まで下がる可能性があるとも考えられますが、ワン氏は「このグラフの予測を信頼することはできない」とコメントしました。

また、以下のグラフは縦軸がコスト、横軸が年月を表しています。およそ10億枚の画像を分類するためのコストは、2017年には約1万ドル(約108万円)かかっていたにも関わらず、2020年にはわずか0.03ドル(約3円)ほどにまで低下しました。

ディープラーニングに関するコストの変化率をムーアの法則と比較すると、ムーアの法則の10～100倍で変化しているとワン氏は主張しています。急激なコストの低下を可能にしたのはハードウェアとソフトウェア両方でのブレイクスルーで、2017～2020年の間にICチップやシステム設計の技術が格段に進化し、ディープラーニング専用のハードウェアも登場しています。

以下のグラフはスタンフォード大学のベンチマークにより算出されたNVIDIA Teslaのハードウェアおよびソフトウェアの性能評価で、縦軸がパフォーマンスの向上率、横軸に書かれているのはNVIDIA Teslaのバージョン名です。下図の左のグラフを見ると、Tesla K80と比較してTesla V100の性能が約16倍も向上していることが分かります。

また、Tesla V100においてディープラーニングのフレームワークであるTensorFlowとPyTorchと新しいトレーニング方法を組み合わせることで、下の右図でソフトウェア性能が約8倍向上したことが報告されています。

一方で、ハードウェアのコストは低下しておらず、数年にわたり高額のままであるとワン氏は指摘。例えば、NVIDIAのデータセンター向けGPUの価格は、過去3世代を比較すると価格が3倍に高騰しています。Amazon Web Servicesは2017年にNVIDIAのTesla V100を導入して以来、サービスの価格は一定のままです。

また、ワン氏はAIの技術がこのまま向上すれば、世界の株式市場におけるAI関連企業の時価総額も大幅に向上すると主張しています。以下は情報技術(黒)、インターネット(青)、人工知能およびディープラーニング(緑)関連企業の時価総額を表したグラフ。縦軸は世界の株式市場に占める割合、横軸は西暦を表しています。2019年の時点では、AIは世界の株式市場において時価総額は約1兆ドル(約107兆円)程度ですが、2037年までには30兆ドル(約321兆円)にまで規模を拡大し、インターネット関連企業よりも高い時価総額になるとワン氏は推測しています。