「ロボットvs人間」、画像へのタグ付け精度を競う「Clash of Tags」

By Lucas

Google フォトにはアップロードされた写真を機械的に認識して自動タグ付けする機能があります。時には「なぜこのタグに？」と思うような分類が行われることもあるのですが、「ロボットと人間で写真へのタグ付けの精度を競うと、どちらが精度の高い判断を下せるのか？」ということが判明するのがタグ付け競争「Clash of Tags」です

Clash of Tags, a demo by Algolia and Imagga
https://demo.algolia.com/clashOfTags/

ロボットvs人間のタグ付け競争を開始するには「Let's Play!」をクリック。なお、イラストによると、対決するのは銀河ヒッチハイク・ガイドのマーヴィンと、ターミネーターのサラ・コナーとなっています。

タグ付け競争の簡単な説明が表示されます。ユーザーが行うタスクはシンプルで、タグとなる単語を打ち込んでスタートするだけ。左右にタグ付けが終わった写真がずらずら表示されるので、「タグ通りの写真が並んでいる」と思った方に投票するだけ。その後、自分が選んだ陣営がロボットだったのか、人間だったのかがわかるわけです。「Got it!」を押して次の画面に進みます。

というわけで、まずは「cat」と入力して「Fight!」をクリック。

するとネコの画像がつらつらと表示され始めました。左右ともに間違いなくネコに対してタグ付けできているように見えますが……

もっと下にスクロールすると、右側の一覧にはトラやライオンが表示されているのがわかります。左側は引き続きネコだけにタグ付けできていると判断し、左側の「Winner!」をクリック。

その結果、投票した方は人間だったことがわかりました。ユーザーの投票を3回得た方が勝利となるので、「Next round!」をクリックして次の対決へ。

タグ付けする単語が思いつかない場合は、「Pick one for me」をクリックすると……

自動的に「river」という単語が選択され、タグ付け対決が開始されました。

下にスクロールしていっても、両陣営とも川っぽい写真を選んでいるように見えます。優劣つけがたい時は「Can't decide!」を押せば引き分けになります。

もう少しスクロールしてみたところ、ようやく左側に川ではなく線路にタグ付けした写真が登場したので、ここまでノーミスの右側に1票を投じることにします。

結果はなんと、またも人間の勝利。

最後は機械系の何かにしようということで「laptop」で対決を開始。

左側の方がタグ付けされた写真が少なかったのですが、よく見ると右側には船や車の写真が使われており、明らかに間違っていることがわかります。右側にもノートPCじゃない写真が見えますが、精度の高さを考慮して左側の「Winner!」をクリックします。

結果はまたも人間でした。「Next round!」をクリックすると……

連続で3票をゲットした人間の勝利となりました。なお、この結果はあくまで「cat」「river」「laptop」という3つのタグに対する結果なので、機械が人間に劣っていることを証明しているわけではありません。

人間に機械が勝つタグはないのか？と気になったので、「Apple」と入力してみました。すると右側には「りんご」とは全く関係ない「applying」「application」のタグがついた写真が表示されていたので、左側の勝利と判断。

左側でタグ付けを行ったのはロボットで、タグによっては機械が人間を超えることもあり得るわけです。

なお、Clash of Tagsは画像認識プラットフォーム「Imagga」とフルテキスト画像検索エンジン「Algolia」を組み合わせたシステムで、お互いを補完するような形で「写真」と「タグ」の同時検索を可能にしています。画像検索はまだまだ人間が優勢な状況にある中、「Clash of Tags」は人間の脳を超える画像識別システムを作り出すために開発されたとのことです。