AIを開発するGoogle Brainチームが2017年の機械学習研究の成果を振り返る「Looking Back on 2017」パート1を公開

GoogleのAI開発を行うGoogle Brainチームが、2017年の活動を振り返る「The Google Brain Team — Looking Back on 2017 (Part 1 of 2)」を発表しました。パート1では、2017年に行われた機械学習のためのオープンソースソフトやハードウェアアップデートなどのテーマについて、成果が報告されています。

Research Blog: The Google Brain Team — Looking Back on 2017 (Part 1 of 2)
https://research.googleblog.com/2018/01/the-google-brain-team-looking-back-on.html

Google Brainシニアフェローのジェフ・ディーン氏は、Google Brainチームが重要視しているのは、「機械学習分野における新しい問題を解決するために、理解を深め能力を改善する研究」だと述べています。この目的に沿って、2017年にGoogle Brainチームが取り組んだ活動は以下の通りです。

◆AutoML
Google Brainによると、機械学習で真に知的なシステムを構築しようとするならば、機械学習で起こる新しい問題を自動的に解決するための技術を開発することだとのこと。そこで、開発されているのが「AutoML」と呼ばれるアプローチで、強化学習と進化的アルゴリズムの両方を使って、ニューラルネットワーク構造を新しくデザインしているそうです。

AutoMLは画像分類や物体検出に活用されています。

◆スピーチの理解と生成
人間の言葉を理解して、会話を成立させる言葉を生成する能力は、コンピューティングにおける重要な課題です。Googleはエンドツーエンドによるアプローチを利用した音声認識技術を開発することで、音声認識システムの相対的な単語誤り率を16％も低下させました。

また、Googleの機械認識チームと協力することで、作り出す音声の質を劇的に改善するテキスト-スピーチ変換アプローチの開発にも成功。既存の音声生成システムのmean opinion score(MOS)が4.34だったのに対して、新開発されたモデルはMOSで4.53を達成。なお、プロのナレーターのMOSは4.58なので、プロの人間の話し方にあと一歩のところまで到達している模様。

◆新しい機械学習アルゴリズムとアプローチ
Google Brainは引き続き、機械学習における新しいアルゴリズムとアプローチを開発する作業を継続し、2017年には「Capsules間のルーティング」「新しいマルチモーダルモデル」「注意ベースメカニズム」、いくつかの新しい強化学習などを開発しました。

◆プライバシーとセキュリティ
プライバシーやセキュリティを強化するのにGoogle Brainは機械学習のアプローチを活用しようとしています。機械学習テクニックを適用することで保護すべきレベルの異なるプライバシー保障を提供する手法について論文で発表しています。

◆機械学習への深い理解
機械学習の働きについての理解を深めることが重要であるとGoogle Brainは考えており、基礎的な研究も積極的に行っています。現在の機械学習の理論的な枠組みではディープラーニングでの印象的な結果を説明できないことを解き明かしたり、ディープアーキテクチャでトレーニングがどのように進むのかを理解するために、ランダム・マトリックスを分析する論文を発表したりしています。

さらに、Google Brainは機械学習専門のジャーナル「Distill」の立ち上げにも参加しました。2018年はさらに多くの研究成果が発表される予定です。

◆機械学習のためのオープンなデータセット
MNIST、CIFAR-10、ImageNet、SVHN、WMTなどのオープンなデータセットが機械学習を大きく発展させてきました。

Google BrainとGoogle Researchは、以下の通り過去1年の研究で得られたデータセットをオープンソース化することに取り組んでいます。

・YouTube-8M：4716クラスの700万以上のYouTubeムービー
・YouTube-Bounding Boxes：21万本のYouTubeムービーから500万個の矩形
・Speech Commands Datase：数千台のスピーカーの短い音声コマンド
・AudioSet：200万本のYouTubeムービーからの527種類のサウンドイベント
・Atomic Visual Actions(AVA)：5万5000本のビデオクリップからラベルされた21万のアクション
・Open Images：6000クラスにラベルされた900万枚のクリエイティブコモンズライセンスの画像
・Open Images with Bounding Boxes：600クラスからなる120万の矩形

◆TensorFlow
2015年に第2世代の機械学習フレームワークTensorFlowがオープンソース化されましたが、2017年2月にTensorFlow 1.0を、11月にTensorFlow v1.4がリリースされました。また、2017年2月には初めての「TensorFlow Developer Summit」を開催し、450人の開発者がGoogle本社に集まり、6500人がライブストリーミングで会議を視聴しました。Google Brainは2018年も3月30日にTensorFlow Developer Summitを開催する予定です。

◆TPU
5年前にディープラーニング向けにハードウェアの仕組みを劇的に変える必要性を認識したGoogle Brainは、専用のASICチップを搭載するマシンTensor Processing Unit(TPU)の開発に着手し、第1世代のTPUを完成させました。

そして、2017年に第2世代のTPUを発表。GPUやCPUよりも30倍というワット当たりのパフォーマンスを持つマシンを実現しました。

Googleの機械学習マシン「TPU」の第2世代登場、1ボード180TFLOPSで64台グリッドでは11.5PFLOPSに到達 - GIGAZINE

ResNet-50 ImageNetモデルへのトレーニングでは、従来のワークステーションで数日かかっていた作業を、第2世代TPUを使ってわずか22分で完了させた例をGoogleは発表(PDFファイル)しています。GoogleはTPUクラスタを研究者に貸し出すプログラムも行っており、2018年も多くの研究者やエンジニアが機械学習の処理を短縮して研究速度を上げられるようになる予定です。

The Google Brain Team — Looking Back on 2017のパート2では、ヘルスケア、ロボット、科学分野、クリエイター分野などでの機械学習の応用についての2017年の活動が取り上げられるそうです。