誰でも深層強化学習のスキルを身に付けて活用できるための教育リソース「Spinning Up」をOpenAIが発表

AI技術を理解するためには機械学習の知識を身に付ける必要があり、特に深層強化学習を理解して活用できるようになることが不可欠です。イーロン・マスク氏らが設立した人工知能を研究する非営利団体であるOpenAIは、深層強化学習を学んで誰もがプラクティショナー(活用者)になれるようにするための教育リソース「Spinning Up」を公開しました。

Spinning Up in Deep RL
https://blog.openai.com/spinning-up-in-deep-rl/

テスラ・SpaceXなどを率いるイーロン・マスク氏やYコンビネータのサム・オルトマン氏らが設立したOpenAIは、AIが人類に害を及ぼすことなく、有益に利用されることを目的として掲げています。そんなOpenAIが発表したSpinning Upには、明解なサンプルコードや練習問題、参考文献、チュートリアルなどが含まれているとのこと。

機械学習は必ずしも学習のハードルが低くはないものです。しかし、OpenAIのスカラシッププログラムやフェロープログラムでの実績から、OpenAIは適切な道しるべや教育用リソースさえ整っていれば、全くの初心者でも短い時間で深層強化学習を使えるようになることを確信したとのこと。Spinning Upはこの考え方をもとに作られたリソースであり、2019年1月からスタートする2019 Winter Scholars Application Openのカリキュラムにも統合されています。

Welcome to Spinning Up in Deep RL! — Spinning Up documentation
https://spinningup.openai.com/en/latest/

Spinning Upは次の5つをコアコンポーネントとして作られているとのこと。

1．強化学習の専門用語、アルゴリズムの種類、基本理論についてのイントロダクション
2．学習を通じて強化学習の研究分野で役割を担うようになることについてのエッセイ
3．トピックごとにまとめられた重要な論文リスト
4．以下の学習強化方法を実装するためのソースコードリポジトリ：「Vanilla Policy Gradient (VPG)」「Trust Region Policy Optimization (TRPO)」「Proximal Policy Optimization (PPO)」「Deep Deterministic Policy Gradient (DDPG)」「Twin Delayed DDPG (TD3)」「Soft Actor-Critic (SAC)」
5．軽いウォーミングアップ用の練習問題

Spinning Upの内容は全て英語ですが、ざっと斜め読みしてみただけでも機械学習のことが分かりやすく書かれていたので、関心のある人は頑張って読み進める価値がありそうです。