「Siri」対「Google Now」対「Cortana」、質問に正しく回答できるかどうか対決の勝者は？

スマホやタブレットに話しかけていろいろな検索や操作を実行させることができる音声認識によるパーソナルアシスタント機能は文字入力の手間が省けるため、キーが打ちにくい状況下ではこれまでよりも簡単にいろいろなことができます。では、「Google Now」の音声検索と、Microsoftが2014年4月に発表した音声認識アシスタント「Cortana」・そしてAppleの「Siri」、一体どのプラットフォームが最も優秀なのか、ということで、Stone Templeがテストを行いました。

The Great Knowledge Box Showdown: Google Now vs. Siri vs. Cortana
https://www.stonetemple.com/great-knowledge-box-showdown

テストでは3086個の質問を3つのプラットフォームに向かって投げかけ、正解率を競いました。このテストは「3つのプラットフォームがどのくらい役に立つか」ということを競ったのではなく、「質問に対して回答欄を使ってどのくらい答えてくれるか」を比較したもの。例えば「1ガロンは何クォート？」という質問を入れると、Google Nowでは「回答欄」を使ってこんな感じで答えを示してくれます。

ということで、質問に対する3つのプラットフォームの結果がコレ。Google Nowは質問全体のうちの58％である1795個におおむね正確な回答を返し、Siriは全体の29％である908個、Cortanaは全体の20％である630個の質問に正解しました。

正しい回答を得られたもののうち、完全回答、つまり「万里の長城はいつ建てられたか」に対して「紀元前206年に完成しました」とキッチリ答えられた数は以下のような感じ。Google Nowは正解した回答のうちの88％、Siriは53％、Cortanaは40％が完全回答でした。

しかし、これは必ずしもSiriとCortanaの能力が低いということではありません。2つのプラットフォームは「回答欄を使った直接的な回答を行わない」ことが多いのです。例えば「次のスタンレー・カップはいつ？」という質問に対するCortanaの回答はこんな感じ。実際に回答欄を設けて「いつ行われる」という答えを提示するわけではありませんが、スタンレー・カップ2014年の情報やWikipediaなどウェブサイトを探し出してくれます。

そしてこれが「最も特許を持っているのは誰？」という質問に対するSiriの回答。これもハッキリと「誰だ」とは言ってくれませんが、Wikipediaの内容を提示して自分で調べられるようにしてくれます。

そしてGoogle Nowの回答欄が必ず正しいということもなく、「ゲティスバーグ演説の長さは？」と聞いたにも関わらず、Wikipediaの内容を提示して、正確な答えを返してくれないこともあります。

また、さらに興味深いこととして、3つのプラットフォームはそれぞれ回答の方法が違いがあるということも判明しています。

◆Google Nowの場合
Google Nowの場合はさまざまなソースから集めたデータをナレッジグラフとして表示します。例えばエッフェル塔の高さを聞くと、「301m」という回答の他に、世界ににある構造物の高さも表示してくれます。これはGoogleが「エッフェル塔の高さを知りたい人は他の構造物の高さも知りたがることが多い」と知っているため。

左下にあった「Burj Khalifa」をクリックすると、さらに構造物の高さ一覧が表示されます。

誰が5ドル札に載っている？という結果がコレ。Wikipediaからの引用です。

Wikipediaからしか引用しないのか？というとそうではなく、「消防士になるには」という検索を行うと、別のウェブサイトに書いてある消防士になるまでのステップが表示されました。

この検索結果から分かったのは、Googleの出す回答が「ウェブサイトを開くことなく検索結果で全ての回答を得られるタイプ」「すべての回答のうちいくつかのステップが表示されるので、詳細を知るにはウェブサイトを開く必要があるタイプ」「ウェブサイトを開いて全ての情報を得る必要があるタイプ」の3つに分けられるとのこと。

また非常にまれですが、「コロッセウムはどれくらい古い？」というような質問に対してウェブサイトの下に直接回答を抜き出して表示するタイプもありました。

Google Nowの回答に求められるのは「正確さ」ですが、時にGoogle Nowは別の方向からの回答も行います。「バター4分の1カップってどのくらい？」と質問すると、「バター1カップは8オンス(約230g)なので、あとは自分で計算できるでしょう」というような回答が。

◆Siriの場合
「なぜ空は青いの？」という質問にはWolfram|Alphaに書いてあることを回答。

質問によってはWikipediaから引用を行います。

「朝日の時間はいつ？」と質問すると、Yahoo！からの天気予報の情報を引用。

また画像検索の結果を表示してくれることもあります。

Google Nowにも間違いがありましたが、Siriも間違うことがあります。「心臓病専門医は何を行う？」と尋ねると、自分がいる場所の近くに住んでいる心臓病専門医2人が検索結果に表示されました。

◆Bing/Cortanaの場合
Google Nowでも同じことがあったのですが、Cortanaの場合、キーボードを使って文字を打ち込んで質問した時と、音声で入力した時とで回答が異なることがありました。しかし「2＋2は？」というシンプルな質問に対しては直接的な回答が帰ってきました。そしてCortanaの特徴として、YouTubeのムービーを回答として返してくることが多かったとのこと。

また、言葉の意味を調べるとオックスフォード辞典の内容を提示してくるのも特徴。

WikipediaやFreebase、The New York Timesをソースとして表示することもあります。Facebookの創業者を調べた時にはWikipediaの内容が示されました。

いくつものソースを組み合わせて情報を提供してくれることもあります。

「愛って何ですか？」と質問すると、「回答するために数百年ほど時間をください」という答えが返ってくるなど、ユニークなものもありました。