「動画に隠されたマウンテンデューの数を当てたら賞金100万ドル」というコンテストのために画像認識のスペシャリストが立ちあがる

2021年2月7日、炭酸飲料「マウンテンデュー」を販売しているペプシコがCMを作成し、「このCMに映されたマウンテンデューの数を正確に言い当てた最初の人物に100万ドル(約1億500万円)の賞金を与える」というコンテストを実施したところ、その2日後にコンピュータービジョンの専門家がAIを用いて映像を分析する方法を公開しました。

Using Computer Vision to Help Win $1 Million in Mountain Dew's Big Game Contest
https://blog.roboflow.com/mountain-dew-contest-computer-vision/

マウンテンデューのCMは2021年2月7日に行われた第55回スーパーボウルの中で放映されました。CMの内容はピンク色のマウンテンデューのペットボトルがあちこちに散らばるテーマパーク内を格闘家のジョン・シナがドライブするという約30秒の短いムービー。以下がそのムービーです。

WIN $1MILLION! | 2021 “MTN DEW MAJOR MELON Bottle Count” w/ John Cena - YouTube

このコンテストにコンピュータービジョンのソフトウェアを開発する企業「Roboflow」の共同創設者であるジョセフ・ネルソン氏が目をつけ、自社の開発している物体検出モデルが役に立つと考え、マウンテンデューを正確に検出するソフトウェアの開発に取り掛かりました。

ネルソン氏はまず、映像を毎秒3フレームに分割して92枚の画像を作成し、全ての画像に映っているマウンテンデューに手動で注釈をつけてデータセットを作成しました。ネルソン氏はこの作業について「指を折りながら全部のマウンテンデューを数えるのと似ていますが、自分の目で全てのボトルを見つけるのは至難の業だということに注意が必要です。うまくいけば、コンピュータービジョンにマウンテンデューを学習させて、自分では見落としたボトルを見つけてもらえるかもしれないわけですから」と話しています。

この作業により、何も映っていなかった1フレーム分を除く91枚の画像と合計869個の注釈から成るデータセットが完成しました。なお、このデータセットはオープンソースで公開されています。

その結果のムービーが以下。学習を終えたAIが元の映像からマウンテンデューだけを認識している様子は以下のムービーの12分53秒の時点から確認できます。

Winning $1 Million with Computer Vision (Mountain Dew Super Bowl Contest) - YouTube

なお、コンテストへはマウンテンデュー公式ツイッターアカウントの該当ツイートに返信することで参加可能です。ただし参加資格としてアメリカ在住かつ法的に成人している必要があるとのこと。ネルソン氏本人がコンテストに応募したかどうかは定かではありませんが、ネルソン氏は「100万ドルを勝ち取れるよう幸運を祈ります」とツイート。YouTubeのムービーに寄せられた「で、いくつだったの？」というコメントに対し、 ネルソン氏は「それは視聴者の皆さんへの宿題です」と答えています。