サイエンス

Apple Vision Proを使ってジェスチャーでロボットを操作してドアノブを開けたり物を拾ったりする技術が開発される


2024年2月に登場したAppleのヘッドセット型デバイス「Apple Vision Pro」を使用し、4足歩行のロボットを手や頭のジェスチャーで操作するApple Vision Pro専用アプリを、マサチューセッツ工科大学(MIT)の研究者らが開発しました。実際に研究者らが公開した動画を見ると、4足歩行のロボットをジェスチャーで動かし、ドアノブを開けたり物を拾ったりしている様子を確認できます。

VisionProTeleop/assets/short_paper_new.pdf at main · Improbable-AI/VisionProTeleop · GitHub
https://github.com/Improbable-AI/VisionProTeleop/blob/main/assets/short_paper_new.pdf


Watch scientists control a robot with their hands while wearing the Apple Vision Pro | Live Science
https://www.livescience.com/technology/virtual-reality/watch-scientists-control-a-robot-with-their-hands-while-wearing-the-apple-vision-pro

Apple Vision Proはフルカラーパススルーを使って周囲の現実と仮想空間を融合させる「空間コンピューティング」を実現したヘッドセットで、現実空間と重ね合わせたバーチャルな作業環境を構築することができます。すでにApple Vision Proを装着したまま街中を歩く人々の姿も目撃されています。

MITの博士課程に在籍するロボット工学者であるパク・ヨンヒョ氏らは、人間の頭や手の動きを追跡して同じWi-Fiに接続しているロボットに動きをストリーミングするApple Vision Pro専用アプリ「Tracking Streamer」を開発しました。実際にTracking Streamerを使用して、Apple Vision Proを着用した人が四足歩行ロボットを動かす様子は以下の埋め込み動画で確認できます。


Apple Vision Proを装着しているのはMITの大学院生であるゲイブ・マーゴリス氏。


マーゴリス氏の手の動きに連動して、四足歩行ロボットのアームが動きます。


よく見ると、マーゴリス氏が手を開くとロボットアームの先端が開き、手を閉じると先端が閉じることがわかります。


マーゴリス氏がしゃがむとロボットもしゃがみました。


うまく操作すれば、ロボットアームでドアノブをつかむことも可能。


「アームでドアノブをつかんで回し、そのままドアノブを押すことでドアを開ける」という複雑な動作を、手を動かすという直感的な操作で実行することができました。


Tracking Streamerによる操作で、四足歩行ロボットを入室させることができました。


また、四足歩行ロボットをしゃがませたままロボットアームを操作すれば、床に落ちている物を拾い上げることも可能です。


Tracking Streamerは、Apple Vision Proのカメラやセンサーで現実世界と映像を重ね合わせる「ARKit」を使用して、手や頭部のトラッキングを行っているとのことです。

この記事のタイトルとURLをコピーする

・関連記事
Apple Vision Proでゲームを遊ぶことはどこまで可能なのか? - GIGAZINE

Apple Vision Proで部屋に浮かぶ巨大な画面を使ってゲームボーイを遊べるエミュレーター「GBA4vOS」が登場 - GIGAZINE

Apple Vision Proでなぜか視聴できない「VRポルノ」を見る方法 - GIGAZINE

Apple Vision Proを返品するユーザーが急増、頭痛や目の疲れなどApple Vision Proに潜む問題が明らかに - GIGAZINE

Apple Vision Proでバーチャルな作業環境を構築するとどんな感じなのかわかるムービーが公開中、ただし「こんなにスムーズではない」というコメントも - GIGAZINE

街中でApple Vision Proを使用するひと足先に行ってしまったユーザーの目撃例が続々報告される - GIGAZINE

ついに出るApple初のゴーグル型空間コンピューティングデバイス「Vision Pro」開封&海外レビューまとめ - GIGAZINE

Apple Vision Proが50万円超するのは「今日手に入る未来のテクノロジーだから」と語る - GIGAZINE

定価約53万円のApple Vision Proの製造コストは約23万円 - GIGAZINE

in ハードウェア,   サイエンス,   動画, Posted by log1h_ik

You can read the machine translated English article here.