「料理画像からレシピを生成するAI」を体験できるウェブアプリが登場

2018年12月にオープンアクセスの論文公開サービスであるarXiv上で公開された論文の中で、「写真に写った料理のレシピを自動生成するAI」が発表されました。このAIを手軽に体験できるウェブアプリ「料理画像からレシピを生成するAI」が公開されています。

[1812.06164] Inverse Cooking: Recipe Generation from Food Images
https://arxiv.org/abs/1812.06164

料理画像からレシピを生成するAI - Qiita
https://qiita.com/relu/items/e9c29c103d11765e4731

arXivに掲載された論文の著者は、FacebookのAI(人工知能)研究部門である「Facebook AI Research」で働くコンピュータービジョン分野の専門家であるAmaia Salvador氏たち。研究グループが開発した「写真に写った料理のレシピを自動生成するAI」は、食材をセットとして予測し、順序を課すことなくそれらの依存関係をモデル化し、画像の中から推定される食材を用いた調理指示(レシピ)を生成するというものです。

Salvador氏は「写真に写った料理のレシピを自動生成するAI」に関するソースコードをGitHub上で公開しています。

GitHub - facebookresearch/inversecooking: Recipe Generation from Food Images

このGitHub上で公開されたソースコードを、reluさんがウェブアプリとして簡単にお試しできる形にしてくれています。

料理画像からレシピを生成するAI

使い方は簡単で、赤枠部分をクリックしてレシピを知りたい料理画像を選択もしくは、画像をドラッグ＆ドロップするだけでOK。

レシピ生成にはしばらく時間がかかります。

最初にレシピを生成してみたのは、マクドナルドの新作バーガーである「やきにくソースがグッとくるベーコンダブチ(ヤグチ)」。AIは写真に写った料理を推測し、4つの候補を挙げてくれます。ヤグチは「ベーコンチーズバーガー」「Lea＆Perrinsのオリジナルウースターシャーソースを使ったベーコンチーズバーガー」「ベーコン巻きビーフサンドイッチ」「チーズ味のベーコンバーガー」と推測され、細かなレシピもチェックできます。

続いて同じように海外でもメジャーなピザなら正しいレシピを表示してくれるのではと思い、「ニューヨーカー1キロウルトラチーズ」の写真を使用。しかし、AIが生成したのは「チーズスフレ」「塩味のチーズスフレ」「焼き卵のキャセロール」「クリームチーズスフレ」のレシピでした。たしかに「ニューヨーカー1キロウルトラチーズ」にはチーズ以外の具材がないので、スフレやキャセロールと見間違われても仕方がないかも。

「創業ビーフカレー」の写真からは、「トマトグレイビー」「簡単トマトグレイビー」「ビーフシチュー」「トマトオニオングレイビー」のレシピが出力されてしまい、カレーと認識されることはありませんでした。