ファンタジー世界が舞台のゲームでAIが「目的があるかのように」話したり行動したりできるようにする研究

RPGなどのゲームをプレイしている最中に、村人のようなノンプレイヤーキャラクターが同じことしか言わなかったり、同じ行動ばかり続けていることにがっかりしたことがあるゲーマーは多いはず。ジョージア工科大学と、Facebook AI Research(FAIR)が協力して行った最近の研究で、「目標を持って会話したり行動したりするファンタジーゲームのAI」が発表されました。

How to Motivate Your Dragon: Teaching Goal-Driven Agents to Speak and Act in Fantasy Worlds
(PDFファイル)https://arxiv.org/pdf/2010.00685.pdf

Teaching AI agents to communicate and act in fantasy worlds
https://techxplore.com/news/2020-11-ai-agents-fantasy-worlds.html

近年に入り、AI技術の分野では自然言語処理(NLP)に関する研究が目覚ましい発展を見せています。また、ゲーム中のキャラクターを操作するAI技術も、AIエージェントが人間の世界トッププレイヤー相手に圧勝するほどの進歩を遂げました。

DeepMindのAI「AlphaStar」が世界トッププレイヤーを相手に「スタークラフト2」で10-1の大勝 - GIGAZINE

しかし、NLP技術とゲームキャラクターを自律的に行動させる「目標指向型エージェント」はこれまで別々に研究されており、組み合わせて使われることはほとんどありませんでした。そこで、ジョージア工科大学のAI研究者であるPrithviraj Ammanabrolu氏らの研究チームは、「目標指向型エージェントにNLP技術を導入することで、他のキャラクターと会話したり行動したりするAIを開発できるのではないか」と考え、FAIRが開発したAI研究用のテキストアドベンチャーゲームLIGHTを用いた研究を開始しました。

研究チームはまず、オンラインで集めた有志の協力者から、キャラクターの「短期的」「中期的」「長期的」な目標を1つにまとめた「クエスト」を提供してもらい、「LIGHT-Quests」というデータセットを作成しました。

「LIGHT-Quests」のクエストの例が以下。このクエストには「ドラゴン」と「騎士」というキャラクターが登場し、ドラゴンの「騎士が盗んだ金の卵を取り戻す」「取り戻した金の卵を自分の宝庫に戻す」「最終的に、どんなドラゴンも作り上げたことがない宝の山を作る」という3段階の目標が時系列ごとの具体的な行動と共に設定されています。「LIGHT-Quests」には、こうしたクエストが7486件収録されたとのこと。

また、「LIGHT-Quests」にあるクエストに沿った人間のプレーヤーとAIによる会話も行われ、トレーニング用データとして収集されました。例えば、以下は金の卵を盗まれたドラゴンと騎士の会話で、AIが担当する騎士は灰色の枠に書かれています。また、人間が担当するドラゴンは青色の枠に書かれており、怪物らしい声色を表現するためか単語の「s」が多くなっているなど、創意工夫が見られます。「LIGHT-Quests」には、こうしたセリフが合計2万2672件収録されました。

研究チームは、こうした「LIGHT-Quests」で人間とAIの行動や会話のデータを収集するのと並行して、「剣は武器である」「王様は王族なので、敬意を持って接しなければならない」といったファンタジー世界での常識をまとめた「ATOMIC-LIGHT」というデータセットを作成。強化学習という機械学習の手法により、「LIGHT-Quests」と「ATOMIC-LIGHT」のデータセットでAIをトレーニングしました。

こうして開発されたAIエージェントがファンタジーゲームの中で行った発言や行動を、「目標の達成率」と「人間による自然さの採点」で評価したところ、いずれも高いスコアを得たとのことです。

Ammanabrolu氏は、NLPと目標指向型エージェントを併用することで、自然な言動を見せるAIの作成に成功した今回の研究について「強化学習は、目標指向型の問題に取り組むのに向いた方法ですが、NLPと組み合わせる試みはこれまでわずかでした。これは私が個人的に興味を抱いていることでもありますが、今後はこれらをより効果的に組み合わせて、AIエージェントがインタラクティブな世界で行動したり話したりするための、より優れた方法を探っていきたいと思います」とコメントしました。