2023年06月06日 16時00分サイエンス

料理の動画を見るだけでその料理を再現できる「ロボットシェフ」の実験に成功したことが報告される

複数のレシピを学んだロボットに、そのうちの1つのレシピに関する料理動画を見せると、そのレシピを再現して調理を行う「ロボットシェフ」をケンブリッジ大学の研究チームが開発しました。また、このロボットシェフはレシピの再現だけでなく、オリジナルのレシピを考案したことが報告されています。

Recognition of Human Chef’s Intentions for Incremental Learning of Cookbook by Robotic Salad Chef | IEEE Journals ＆ Magazine | IEEE Xplore
https://doi.org/10.1109/ACCESS.2023.3276234

Robot 'chef' mimics recipes from food videos
https://www.newswise.com/articles/robot-chef-mimics-recipes-from-food-videos

他人が料理を行う様子を観察したり、料理動画を見たりすることで新しいレシピを学ぶことができる人間と違い、複数のレシピを学びつつ料理を作るようにロボットをプログラミングすることは、非常に多くのコストや時間がかかるとされています。

そこで、ケンブリッジ大学のGrzegorz Sochacki氏らの研究チームは、8種類の簡単なサラダのレシピを考案し、料理動画を作成しました。その後、ブロッコリーやニンジン、リンゴ、バナナ、オレンジなどの野菜や果物を含むさまざまなオブジェクトを個別に認識することができるオープンソースのニューラルネットワークを使用して、ロボットシェフのトレーニングを行いました。

ロボットシェフはデジタルな動画を理解するコンピュータビジョン技術を応用して料理動画の各フレームを分析し、包丁や材料だけでなく、人間の腕や手、顔などさまざまなオブジェクトや特徴的な行動を識別することに成功しました。識別のプロセスでは、学習したレシピと動画の両方がベクトルに変換され、ロボットはこれらのベクトルに対して数学的な演算を行い、料理動画とベクトルの類似性を評価しています。

Sochacki氏は「人間が手に持った材料や行動を正しく識別することにより、ロボットシェフは8種類のレシピの中から、どのレシピが調理されているのかを判断できました」と報告しています。

ロボットシェフの実験では、人間が片手に包丁を持ち、もう片方の手にニンジンを持っている料理動画をロボットが観察した場合、ロボットは手に持ったニンジンは包丁で切り刻まれることを推測して、材料をカットする装置を動かします。人間の行動を解釈して理解することで、ロボットは料理動画で調理される特定のレシピの識別に成功しています。

以下は実際に稼働するロボットシェフの動画です。

Robot ‘chef’ learns to recreate recipes from watching food videos - YouTube

Sochacki氏がリンゴをロボットに対して示します。

さらにSochacki氏がリンゴを細かくカットする様子が映し出されています。

「リンゴをカットする」ことを理解したロボットシェフは、装置にリンゴを入れ、別で示されたニンジントともにカットすることに成功しました。

研究チームによると、ロボットシェフが視聴した16本の料理動画のうち、ロボットシェフは人間の行動の約83％しか検出しなかったにもかかわらず、約93％という高精度で正しいレシピを識別しました。また、ロボットシェフは同じレシピでも動画中に人間がミスをした場合でも、それぞれを別の新規のレシピと見なさずに、すべて同じレシピだと判断したことが報告されています。

さらに研究チームがロボットシェフに対して、学習したレシピにない新しい9番目のサラダのレシピの料理動画を学習させたところ、ロボットはこのレシピを正しく再現することに成功しています。

Sochacki氏は「リンゴのみじん切り2個とニンジンのみじん切り2個を用いるレシピが、リンゴとニンジンのみじん切りをそれぞれ3個ずつ使うレシピと同じレシピだと認識することができたのは、驚くべきことです」と述べています。

Sochacki氏らの研究チームが使用した料理動画は、カット編集や視覚効果などを含む一般的な料理動画とは異なり、材料をはっきりとロボットに提示し、それが何なのか認識できるような動画が用いられています。Sochacki氏は「このロボットシェフは、YouTubeなどのソーシャルメディアでヒットするような料理動画を認識することは困難です」と課題点を述べています。一方で「ロボットシェフが動画内の食材をより鮮明に、より早く識別することができるようになると、将来的にはYouTubeなどのサイトを使用してさまざまなレシピを学習できるようになる可能性があります」と述べています。