まるで人間のように文章を理解し、「タクシーの手配」から「コンテンツのフィルタリング」まで行う「DeepText」

By Kate Ter Haar

Facebook上にはテキスト・写真・ムービーなどさまざまなコンテンツが存在しますが、最も多いのは間違いなくテキストです。そんな無数に存在するテキストを理解し、「ユーザーを手助けできるような何かを作ることはできないか？」ということで、Facebookの開発者たちは研究を進めてきました。そして、ユーザーが望むコンテンツをユーザーの目の届く場所に表示したり、不要なコンテンツをフィルタリングしたりができる、ディープラーニングがベースとなっているテキスト理解エンジン「DeepText」の開発が進められています。

Introducing DeepText: Facebook's text understanding engine | Engineering Blog | Facebook Code | Facebook
https://code.facebook.com/posts/181565595577955/introducing-deeptext-facebook-s-text-understanding-engine/

Facebook’s new DeepText AI categorizes everything you write | TechCrunch
http://techcrunch.com/2016/06/01/facebook-deep-text/

Facebookが開発するテキスト理解エンジンの「DeepText」は、多層構造のニューラルネットワークアーキテクチャーを基にしたもので、単語レベルや文字レベルでの学習も可能な人工知能(AI)の一種とも呼べるものです。実際の人間に近い形でテキストの中の複数の要素を理解することが可能で、1秒間に数千件ものテキスト投稿を分析できる模様。DeepTextはテキストからユーザーの求めるものを理解することが可能で、例えばユーザーが「○○駅から帰る手段がない」と書き込んだなら、「タクシーを呼びますか？」と反応するように、ユーザーのテキストに込められた意図をくんだ提案ができるようになるとのこと。

DeepTextは記事作成時点で既に20言語以上に対応していますが、Facebookのコミュニティは非常にグローバルなものであるため、DeepTextがより「使える」サービスになるには、多くの言語を分析できる必要があります。また、さまざまなテキスト形態に対応できるように、スラングやスペルミスなども学習させる必要があるわけですが、ディープラーニングを使用することで、言語依存の知識を学習させる手間を可能な限り縮小させることに成功しているとのこと。

DeepTextは既にFacebook上でテストを開始しています。例えばFacebookのメッセージアプリである「Messenger」にDeepTextを組み込んだ場合、ユーザーの入力したテキストを分析し、必要と判断すればユーザーにタクシーを勧めることができます。

実際にメッセージアプリがユーザーの入力したテキストに反応し、タクシーを勧めたり勧めなかったりする様子は以下のムービーで見られます。

Facebookのメッセンジャーアプリで友人とメッセージのやり取りを行っている際

「I need a ride(車に乗る必要がある)」と入力すると、そのすぐ下に「Request a Ride」というボタンが登場。これをタップすると、即座にタクシーを手配できます。対して、すぐ下の「I don't need a ride(車に乗る必要はない)」というテキストには、まったく反応なし。

他にも「タクシーに乗る」や「ここから車に乗ろう」という入力でも、タクシーの手配ボタンが登場。よくよく見てみると、「taxi」「cab」「ride」といった単語でタクシーの手配を行っているように思えますが、「I like to ride donkeys(私はロバに乗るのが好きです)」と入力した際にはタクシーの手配ボタンが表示されておらず、その精度がなかなかのものであることがうかがえます。

メッセンジャーアプリでの応用の他に、Facebookではユーザーの目的を見つけるためのツールとしても使用しているとのこと。例えば、Facebookユーザーが「僕の古いバイクを200ドルで売りたいな。誰か興味ある？」と投稿したとします。DeepTextがこの投稿を分析すれば、「何かを売ろうとしていること」を理解し、投稿した文章の中から意味のある情報(売ろうとしているものや値段)だけを抜き出し、売り手側が販売しやすくなるような既存のツールを紹介することができます。他にも、ユーザーの投稿を「人」「場所」「出来事」などに分けて分析し、ユーザーひとりひとりに適したコンテンツを配信できるようにもなります。

さらに、Facebook上では多くの有名人が一般ユーザーとコミュニケーションをとっていますが、こういったコミュニケーション時には世界中から何千何万というコメントが集まるため、優れたコメントが埋もれがちになってしまいます。しかし、DeepTextを活用すれば、数多のコメントの中から優れたものを見つけ出し、それを優先的に表示することも可能になるとのこと。

なお、DeepTextの開発はFacebookのAI研究グループと共同で進められているそうで、プロジェクトは今後「ユーザーが興味を持つものをより正しく理解すること」「テキストを理解して視覚的なコンテンツとつなげること」「新しい深層ニューラルネットワークアーキテクチャーを構築すること」などに取り組んでいく予定とのことです。