学生はティーチングアシスタントが実際には人間ではなくロボットだったことに気づかなかった

人工知能の進化はめざましく、人間と自然な会話ができる高度なコンピューターが登場しつつあります。そんな中、アメリカの研究者が人工知能を使ったティーチングアシスタント(TA)を導入して、オンラインでの学生に対応させたところ、誰一人としてTAがコンピューターだと気づかなかったケースが報告されています。

Imagine Discovering That Your Teaching Assistant Really Is a Robot - WSJ
http://www.wsj.com/articles/if-your-teacher-sounds-like-a-robot-you-might-be-on-to-something-1462546621

ジョージア工科大学のアショク・ゴール教授らの研究チームは、IBMの人工知能システム「Watson(ワトソン)」を使って、オンライン学習プログラムのTAをコンピューターに担当させるという実験を行いました。なお、実験ではオンライン学習する学生に、コンピューターのTAがいるという事実は伏せられています。

学生の質問に答えたり相談にのったりするコンピューターTAには「Jill Watson」という女性の名前が与えられました。実際に学生への対応を始めるまでに、ゴール教授らは、Jillに約4万件分の学生からのメールやチャットを読み込ませて、質問や相談に対する応答方法を学習させました。そして、Jill自身が「97％以上の精度で正しく答えられる」と判断した質問にのみ応答することにして、実際にオンライン学習をする300人強の学生のための9人いるTAの一人として、2016年1月からJillを運用し始めました。

実際の学生とJillとの実際のやりとりは、例えばエリック・ウィルソンという学生の「正しいフィードバックを入力し損なったみたいなのですが……」という相談に対しては、Jillは「残念ですが、入力を修正する方法はありません」と、3分後にメールで回答する、という具合に行われました。

結局、Jillが人間ではなくコンピューターであるという種明かしをされるまでに、Jillがコンピューターだと見抜いた学生はいなかったとのこと。ただし、Jillの返答があまりにも早すぎるために、中には疑いをもつ生徒はいたそうです。

Jillが人工知能システムを使ったロボットTAであるという種明かしをされた学生は、みな一様に驚いたとのこと。「会話はいたって普通で、人間のようだった」という学生や、「20歳そこらの白人の女性だと思っていた」という学生がいるなど、Jillとのメールでのやりとりに、不自然な点はなかったことが学生の反応から分かります。

ゴール教授によると、実際の教室での講義に比べるとはるかに多くの学生に学習の機会を与えられるオンライン学習での最大の悩みは、学生から寄せられる大量の質問への対応であるとのこと。学生の質問の大半は、これまでにも、そしてこれからも何度も寄せられるであろう典型的な質問で、このありふれていて回答が決まっている質問への対応に、TAが忙殺されているという現状があるそうです。そのため、Jillのように典型的な質問や相談に対応できるロボットTAが実用化されれば、人間のTAにしかできない「より深い内容のやりとり」に「人間の」TAは集中することが期待でき、オンライン学習はより大きな成果を上げられると考えられています。

ゴール教授は、来年度のオンライン学習を受講する学生には、Jillの名前を変えたうえで、「TAの中に一人だけ人間ではないコンピューターが混ざっている」と事前に伝えて実験を継続することを検討しているそうです。