映像や音声を理解してリアルタイムで質問に答えてくれるGoogle製AIアシスタント「Project Astra」をスマホやスマートグラスで使いまくるデモ動画が公開中

Googleは2024年5月、映像や音声を理解してリアルタイムで質問に答えてくれるAIアシスタント「Project Astra(Astra)」を発表しました。現地時間の12月11日に公開された新たな動画では、Astraのテストビルドを搭載したPixelスマートフォンやプロトタイプのスマートグラスを持ち出し、街中のあらゆる場面でAstraを使いまくる様子を確認できます。

Project Astra | Exploring the future capabilities of a universal AI assistant - YouTube

Google's Project Astra waitlist signups begin with enhanced AR features | Android Central
https://www.androidcentral.com/gaming/virtual-reality/google-project-astra-ar-waitlist-opens-trusted-testers

Project Astraは、ユニバーサルAIアシスタントの将来の機能を探る研究プロトタイプであり、12月11日に発表されたばかりであるGeminiの最新モデル「Gemini 2.0」が搭載されています。

今回の動画では、Astraのテストビルドを搭載したPixelスマートフォンを持ち出し、実際にロンドンの街中で使ってみるとのこと。

アパートに着いた男性は、「アパート情報が記載されたメールを受け取りました。ドアコードを教えて、そして覚えてもらえますか？」とAstraに語りかけます。Astraはメールの内容を読み取り、「あなたのためにドアコードを記憶しておきます。1170です」と回答。

教えられた通りにドアコードを入力すると、入り口の扉が開きました。

Astraはスマートフォンの画面やインターネット上の情報だけでなく、スマートフォンのカメラに映った情報についても解釈して質問に答えてくれます。洋服のタグをカメラに映して「これらの記号によると、この服をどのように洗えばいいのですか？」と尋ねると、適切な洗い方を指示してくれます。

また、洗濯機の操作つまみを映してどのように設定すればいいのか尋ねると、先ほどの洋服タグに沿った設定方法を教えてくれました。

メモに書かれたさまざまなオススメ観光スポットについて尋ねると、それぞれがどのような場所なのかを解説してくれます。

Astraは街中でもうまく機能するとのこと。

「scone(スコーン)」の正しい発音について尋ねると、一般的な発音を答えてくれました。

街中で見かけた不思議な彫刻を映しながら「この彫刻について教えてくれますか？」と尋ねると、制作した芸術家の名前や作品名を回答してくれます。

芸術家が探求するテーマについても教えてくれました。

さらに、街中に生えている植物を映しながら「これを家に植えたらうまくいきますか？」と尋ねると、男性が住んでいるニューヨークの気候にも適応できる植物だと回答しました。

友人の読書記録アプリの画面を映しながら、この友人にはどのような本をプレゼントするのがオススメなのかアドバイスを求めることも可能。

本の背表紙を並べて、どの本がプレゼントにピッタリなのか尋ねることもできます。

英語だけでなくフランス語やタミル語の質問にもしっかり答えてくれました。

さらに、プロトタイプのスマートグラスを着用すればハンズフリーでAstraを使用することも可能。

今日の天気について調べたり

通りがかった公園について尋ねたり

帰り道にスーパーマーケットがあるかどうか教えてもらったりできます。

アパートに戻ると、最初に届いたメールに記載されていたドアコードを、今度はメールを見ることなく教えてくれました。ドアコードを覚えておくようにという指示をしっかり守っています。

Googleは「信頼できるテスター」にAstraを利用してもらっているとのことで、Googleのスンダー・ピチャイ氏がXにポストした動画では、実際にテスターがAstraを使う様子が確認できます。

また、テスタープログラムのウェイトリストも公開されています。

Project Astra: Sign up for the Trusted Tester Program Waitlist
https://docs.google.com/forms/d/e/1FAIpQLScCrFFCFcZ9q_0Ti_a-qkh56W26lysgcArpNiaDDQ8DngG9eg/viewform