メタバースのアバターが現実のロボットを操作してそばを食べることは可能なのか？

ソーシャルVRプラットフォーム・VRChatを利用したメタバース(仮想空間)にいるアバターが、メタバース内のコントローラーで現実のロボットを操作し、ロボットの前で待つ人にそばを食べさせるという風変わりなチャレンジの動画が公開されています。

メタバースからお蕎麦を食べる - ニコニコ動画

挑戦者はクワマイさん、パートナーとして網野環さんが参加しています。

左上ワイプはVRChatでメタバースにいる網野さんのアバター、右側が現実世界のクワマイさん。網野さんがメタバースに配置されたコントローラーで現実世界のロボットを操作し、手打ちそば田奈部のそばをクワマイさんに食べさせるというチャレンジです。

ロボットアームの力はそれほど強くないので危険性はないということですが、安全のためにゴーグルを着用。

網野さんのアバターが手にしている白い立方体がコントローラーにあたり、これを上下左右に動かすとロボットが動きます。

アームをもう少し高く持ち上げたいところですが、アバターの身長が低いため、これが限界。

そのままうまく腕を引いて、そばをつゆにつけることに成功。

最後はちょっとクワマイさんが顔の位置を下げて……

そばを食べることに成功。口から迎えに行っているようにも見えますが、アバターもがんばってロボットを操作しているのが姿からうかがえます。

挑戦にあたって利用された「VRChat上のオブジェクト位置姿勢を色に変換して画面に描画するshader」や「描画された色を読み取ってオブジェクト位置をロボットアームに送るUnity project」はGitHubで公開されており、動作の仕組みはクワマイさん自らブログで解説してくれています。

メタバースからお蕎麦を食べる - クワマイでもできる
https://kuwamai.hatenablog.com/entry/2022/03/29/120000