Google DeepMindが自然言語で場所の案内などオフィス内のタスクをこなすデモムービーを公開

Gemini 1.5の最大100万トークンという長いコンテキストウィンドウを活用することで、オフィス内のタスクを自然言語で解決できるようになったとGoogle DeepMindが論文にまとめ、デモムービーを公開しました。

[2407.07775v1] Mobility VLA: Multimodal Instruction Navigation with Long-Context VLMs and Topological Graphs
https://arxiv.org/abs/2407.07775v1

コンテキストウィンドウが大きいAIモデルは一度に多くの情報を扱うことが可能です。今回、DeepMindはオフィスや自宅を案内するムービーを撮影してAIに視聴させ、「どこに何があるのか」という環境についての情報を学習させました。

ユーザーが自然言語でAIに指示することで、AIがムービーの情報とカメラからの入力を元にユーザーを目的地に案内させることに成功したとのこと。以下は実際に「何かを描ける場所を教えて」というタスクをこなすデモムービーです。

この投稿をInstagramで見る

Google DeepMind(@googledeepmind)がシェアした投稿

AIを搭載したロボットに「何かを描ける場所を教えて」と音声で入力すると、ロボットが「Geminiで考えます。しばらくお待ちください」と返答。

しばらくしてロボットがゆっくりと動き始めました。

無事ユーザーをホワイトボードの前に案内することに成功。

モデルの概要はこんな感じ。その他にこなせるタスクの例として、物を持った状態で「これはどこに返却すれば良いですか？」という質問や、スマートフォンを見せつつ「どこで充電できますか？」という質問が掲載されています。

研究チームは「大規模な現実世界の環境における複雑な推論とマルチモーダルなユーザー指示を伴う、これまでは実行不可能だったナビゲーションタスクで、エンドツーエンドで最大90パーセントの成功率を達成した」と結果が大成功だったことをアピールしました。