「マウスポインタをAIの入力として活用するべき」とDeepMindが語る、「これをあれして」でAIに通じる時代が来るか

Google DeepMindが、マウスポインタをAIへの入力手段として活用する構想を公開しました。Google DeepMindは、画面上の対象をマウスポインタで指しながら短く指示することで、AIとのやりとりをより直感的にできると説明しています。

Shaping the future of AI interaction by reimagining the mouse pointer — Google DeepMind
https://deepmind.google/blog/ai-pointer/

Reimagining the computer mouse pointer - YouTube

従来のAIツールでは、ユーザーが文章、画像、表、コードなどをAIのチャット画面に持ち込み、「何をどうしてほしいのか」を文章で細かく説明する必要がありました。Google DeepMindが目指しているのは逆方向のアプローチで、ユーザーが普段使っているウェブページ、文書、メール、地図、画像編集画面などにAI側が入り込み、作業の流れを止めずに支援する仕組みです。例えば、建物の画像にマウスポインタを合わせて「経路を表示して」と話しかけるだけで、AIが建物を対象として認識し、地図アプリで行き方を示す、といった使い方が想定されています。

重要なのは、マウスポインタが「AIに文脈を渡すための入力装置」になる点です。人間同士の会話では、相手が見ている対象を指さしながら「直して」「移動して」「意味を教えて」と言えば、長い説明がなくても意図が通じます。Google DeepMindは、マウスポインタの位置、画面に表示されている内容、音声による短い指示を組み合わせることで、AIにも同じような省略表現を理解させられるとしています。

Google DeepMindは、AI対応マウスポインタの設計原則として、「作業の流れを保つこと」「指し示しながら伝えること」「短い指示を活用すること」「画面上のピクセルを操作可能な対象に変えること」を挙げています。例えば、PDFを指して「箇条書きで要約して」と頼み、生成された要約をメールに貼り付けること、統計表を指して「円グラフにして」と頼むこと、レシピを選択して「材料を2倍にして」と指示することなどが紹介されています。AI用に長いプロンプトを書く代わりに、目の前の対象へマウスポインタを合わせて短く命令する、という発想です。

また、Google DeepMindはGeminiに対しマウスポインタと音声で指示できるデモも公開しています。Google AI Studioでは、画像編集や地図上の場所探しをマウスポインタと音声で試せるとのこと。

Googleは、AI対応マウスポインタの考え方をGemini in Chromeや新型ノートPC「Googlebook」にも取り入れるとしています。Gemini in Chromeでは、ウェブページ上の気になる部分を指してGeminiに質問したり、複数の商品を選んで比較したりする使い方が想定されています。Googlebookには「Magic Pointer」という機能が搭載される予定で、メール内の日付を指して予定を作成したり、部屋の写真と家具の画像を組み合わせて表示したりできるとのこと。

Google DeepMindは、AIとのやりとりがチャット欄への文章入力だけに限られず、画面上の対象を指して短く伝える形へ広がる可能性があると述べています。AIがマウスポインタの位置、画面内容、音声指示を組み合わせて理解できるようになれば、「これを要約して」「この商品と比べて」といった自然な指示がAIにも通じやすくなるとのことです。