GPUに比べて最大15倍高速な市販CPU向けのディープラーニングアルゴリズムが開発される

近年のAIは、人間が手を加えなくてもコンピューターが自動的に大量のデータからそのデータの特徴を発見する「ディープラーニング(深層学習)」という学習手法で動いています。このディープラーニングは、コンピューターゲームに代表されるリアルタイム画像処理に特化した演算装置・プロセッサであるGPUで処理されるというのが通例ですが、ライス大学のコンピューター科学者がIntelと共同で「GPUに比べて最大15倍も高速にディープラーニングできるCPU向けソフトウェア」を開発しました。

ACCELERATING SLIDE DEEP LEARNING ON MODERN CPUS:VECTORIZATION, QUANTIZATIONS, MEMORY OPTIMIZATIONS, AND MORE
(PDFファイル)https://proceedings.mlsys.org/paper/2021/file/3636638817772e42b59d74cff571fbb3-Paper.pdf

CPU algorithm trains deep neural nets up to 15 times faster than top GPU trainers
https://techxplore.com/news/2021-04-rice-intel-optimize-ai-commodity.html

ディープラーニングは、データの中に存在しているパターンやルールの発見、特徴量の設定、学習なども機械が自動的に行うという学習手法です。パターンやルールの発見などを人間が行う必要があった従来の手法に比べて、「人間の認識や判断」という限界を突破できることから、画像認識・翻訳・自動運転などの分野をリードする技術となっています。

ディープラーニングは原理的には行列の積和演算を実行しています。一方、グラフィックの処理を行うために開発されたGPUは、三次元のグラフィックスのポリゴンを移動させたり回転させたりするために行列の積和演算を実行する演算装置です。つまり、GPUが行列の積和演算に特化しているため、近年ではディープラーニングに最適なプロセッサとしても用いられるようになっているというわけ。

しかし、GPUには「コストがかかる」という問題が存在します。この問題を解決するため、ライス大学のコンピューター科学者であるAnshumali Shrivastava氏は、現行の行列の積和演算を必須とするディープラーニングのアルゴリズム自体を見直そうとしたとのこと。

Shrivastava氏率いる研究チームはディープラーニングの学習を「ハッシュテーブルで解決できる検索問題」と捉え直すことによって、演算自体を市販CPUに最適化した学習アルゴリズム「Sub-Linear Deep Learning Engine(SLIDE)」を開発。このSLIDEがGPUベースの学習よりも優れたパフォーマンスを発揮することを示しました。

研究チームはCPUこそがコンピューティング関連で最も普及しているハードウェアである点に触れて、CPUを用いた機械学習にはコスト面の利点があると指摘。「行列の演算に固執しないSLIDEを使った場合、GPUの4～15倍速い学習速度をCPUで達成した」と語りました。