AIプログラムの「AlphaZero」にチェスを学習させる中で明らかになった知見とは？

Alphabetの子会社で人工知能(AI)開発企業でもあるDeepMindとGoogleのAI専門研究部門であるGoogle Brainが、チェスのグランドマスターであるウラジーミル・クラムニク氏と協力し、「人間におけるチェスの指し手の進化」と「チェスAIの進化」を比較するプロジェクトを実施しました。

Acquisition of Chess Knowledge in AlphaZero | ChessBase
https://en.chessbase.com/post/acquisition-of-chess-knowledge-in-alphazero

このプロジェクトではチェスの膨大なデータベースであるChessBaseに保存されている棋譜や、「AlphaZero」のニューラルネットワークチェスエンジン、オープンソースのチェスエンジンである「Stockfish」の各種コンポーネントなどを用い、AlphaZeroがチェスをどのように学習していくのかを研究しています。

チェスエンジンはチェスの専門家やアマチュアがうち手を研究するのに使用するツールで、近年はAlphaZeroをはじめとしたニューラルネットワークを用いた強力なチェスエンジンが台頭しています。AlphaZeroは強化学習を通じて完全に独学でチェスについて学習することが可能なチェスエンジンで、手書きの評価関数を必要とせず、対局を通した自己学習により駒の動きや位置を最適化していくことが可能です。この対局を通した自己学習により、チェスエンジンは洞察に満ちた駒の移動や位置評価を行えるようになっていきます。

研究チームが「AlphaZeroにおけるチェスの上達具合」を「人間の指し手によるチェスの進化の歴史」と比較したところ、「驚くべきパターンが現れた」そうです。例えばChessBaseの棋譜データを分析して人間のチェスのオープニングを分析したところ、1500年代は誰もが初手に「e4」を指していたそうですが、その後は数世紀にわたり「d4」「Nf3」「c4」といった初手が流行するようになってきたことがわかります。

以下のグラフは人間のチェスの初手を年代別にまとめたもの。

一方で、AlphaZeroは学習開始時点では完全にランダムに初手を指しますが、自己学習を通じて初手を最適化していきます。その結果、自己学習のスタート直後の段階ではさまざまな手を指しますが、次第に「d4」や「e4」といった初手を好むようになることがわかります。なお、グラフが3つあるのはそれぞれ異なるバージョンのAlphaZeroの初手を分析したためです。また、バージョンによってはAlphaZeroは4手目に「a6」を指すケースが多いそうで、「これは古典的な手であり、ユニークな手を指すチェスAIがいないことは非常に興味深いです」と研究チームは記しています。

チェスエンジンのStockfishは独自の評価関数を持っており、これをベースに駒の位置を決定します。一方で、AlphaZeroはそのような評価関数を持っておらず、駒の位置を「＋1(勝利が保証される)」か「－1(敗北は確実)」の2択で評価します。このAlphaZeroの単純な位置評価方法を、Stockfishの評価関数ベースで分析すると、以下のグラフのようになります。Stockfishの評価関数は「Imbalance(バランスの悪さ)」「King Safety(キングの安全性)」「Material(点数)」「Mobility(移動性)」「Space(空きマス)」「Threats(危険性)」という5つの基準をベースとしていますが、AlphaZeroは特に「Material(点数)」に重きを置いた駒の配置方法を取っていることがわかります。しかし、自己学習の時間が増加するにつれ「Material(点数)」の重要性は低下し、代わりに「King Safety(キングの安全性)」の重要性が増します。

自己学習の時間経過とどの指標を重視するようになるのかの変化を見て、研究チームは「この変化は驚くほど人間にそっくりです」と記しています。

研究チームのトム・マクグラス氏は、「AlphaZeroの指し手を見て、我々が理解できるものを探すことは素晴らしいことであり、興味深いものです。指し手から明確な何かを見つけられないこともありますが、そうでない場合や熟考しなければわからないということも多々あります。もちろんまだまだやるべきことはたくさんあり、各要素が互いにどのように関連しているかはまだわかりません。それでもある程度の進歩を遂げることができたことは心強い点であり、他の要素の意味が理解できるようになることを楽しみにしています」と記し、今後のさらなる研究に期待を寄せました。