ニューラルネットワークを用いて相手の表情を認識し自然に対話できるチャットボット「ハンク」登場

対話相手の表情を読み取り、それぞれに適した返答が行えるチャットボット「ハンク」をトロント大学の研究チームが開発しました。これまで登場してきた対話可能な音声認識AIなどは、言葉の意味だけをくみ取って会話を行うものばかりでしたが、研究チームは実際のコミュニケーションでは「相手の表情」からも意図をくみ取るものであるとして、同じ質問であっても相手の表情から気分を類推して異なる返答を行うニューラルネットワークモデルの開発に成功。アバターをつけて「ハンク」と名付け、実際にさまざまな対話を行う様子をムービーで公開しています。

A Face-to-Face Neural Conversation Model
http://www.cs.toronto.edu/face2face

トロント大学の研究者が、会話の際に「相手の表情を読み取りながら自然言語で応答可能なニューラルネットワークモデル」を発表しました。ニューラルネットワークの学習には250本の映画が用いられており、映画の中からひとりの顔が映し出された瞬間のみを集めてデータセット「MovieChat」として使用されています。また、相手の顔の動きを検出するために、ディープラーニングライブラリの「OpenFace」も使用されています。

顔の筋肉の動きを口頭の会話に反映するため、リカレントニューラルネットワーク(RNN)エンコーダーおよびデコーダーが利用されており、特にデコーダーは2つのレイヤーで構成されています。下位レイヤーは口頭での応答と大まかな相手の表情認識を担当し、もうひとつのレイヤーは微妙なジェスチャーを含んでおり、このレイヤーを通すことでニューラルネットワークの出力がより自然なものに変換されることになるそうです。

このニューラルネットワークモデルを用いて作成されたチャットボットのハンクがどのように対話するのかは、以下のムービーを見ればわかります。

face2face_v2 on Vimeo


ハンクはひとりの顔が映った映像と対話することができます。

「僕が昨夜彼を見たことは秘密なんだ」というセリフに対して……

「彼は僕を殺すと言ってきたんだ」と、それっぽいセリフを返します。

映画のワンシーンで女性が「混乱しているのを見て、くそったれと言うだけよ」と語ると……

まるで出演者のひとりであるかのように、「簡単ではないけど、大きな問題でもないよ」とスムーズに回答するハンク。

ハンクは相手の表情を読み取りそれに応じた異なる反応を示します。

例えば無表情のまま「サンキュー」と言えば……

「誰かに言わされているみたいですね」とハンク。

笑顔で「サンキュー」と言えば……

「こちらこそ！」と笑顔で反応。

口元をゆがませて「サンキュー」と言えば……

「少なくとも私は良い気分ですよ」

顔を傾けて「サンキュー」と言えば……

「どうしたの？」とハンクに心配されました。

さらに、ハンクはテキストに口頭で返事することもできます。

「何について話しているの？」と問いかけると……

「あなたについて話しているんですよ」と、自然に返答。

「あなたはクリスマスのどこが好きですか？」と問いかけると……

「クリスマスを経験するのはこれが初めてなので……」と答えます。

「君はクリスマスのイルミネーションはレッドチリペッパーの形をしていると知っていた？」と問いかけると……

「あれはゴキブリみたいだね」とユーモラスな受け答えをすることも可能。

以下のムービーではチャットボットのハンクとリアルタイムで会話する様子を見ることができます。

face2face_demo on Vimeo


ムービーの中でハンクの開発者は「これがどのように世界を変えるか簡単に教えてください」と問われ、「これは人間のクローンをデジタル上で作るための最初のステップなんです」と回答しています。