Facebookが「ユーザーが画像に付けたハッシュタグ」を活用して画像認識の性能向上に成功

Facebookの開発者カンファレンス「F8」の中で、Instagramのようにユーザーが画像につけたハッシュタグを活用することにより、画像認識のパフォーマンスが向上したことが報告されました。

Advancing state-of-the-art image recognition with deep learning on hashtags | Engineering Blog | Facebook Code | Facebook
https://code.facebook.com/posts/1700437286678763/

開発者カンファレンス「F8」2018：2日目発表内容まとめ | Facebookニュースルーム
https://ja.newsroom.fb.com/news/2018/05/f8-2018-day2/

Facebook is using billions of Instagram images to train artificial intelligence algorithms - The Verge
https://www.theverge.com/2018/5/2/17311808/facebook-instagram-ai-training-hashtag-images

AI研究の柱の1つである「画像認識」は、個別にラベリングされた数多くのデータを学習させることで精度を上げますが、Facebookの場合、5000万もの画像を含むデータセットを使っていて、これを十億枚単位に増やすとなると、もはや人力でタグ付けすることは困難です。

そこで、新たな突破口としてFacebookが注目したのが、Instagramなどで見られる、ユーザーが独自につけたハッシュタグです。

by Jon Tyson

10億枚のデータセットによるトレーニングを行った結果、ベンチマークツール・ImageNetでの画像認識の精度は85.4％に向上したとのこと。

これにより、たとえば視覚障害者向けの音声キャプションをさらに詳細にできたり、不適切な画像を迅速に発見したりということが期待されます。