MicrosoftがAIでウェブページ上のテキストと画像を分析して回答する「Copilot Vision」のプレビュー版をリリース

2024年12月5日にMicrosoftが、ウェブブラウザ「Edge」で閲覧中のウェブページを分析し、ユーザーからの質問への回答やテキストの要約・翻訳、割引商品にスポットを当てるなどのタスクを処理できるAI機能「Copilot Vision」のプレビュー版を一部ユーザー向けにリリースしたことを発表しました。

Copilot Vision now in preview – a new way to browse  | Microsoft Copilot Blog
https://www.microsoft.com/en-us/microsoft-copilot/blog/2024/12/05/copilot-vision-now-in-preview-a-new-way-to-browse/?_thumbnail_id=3834

Copilot Vision, Microsoft's AI tool that can read your screen, launches in preview | TechCrunch
https://techcrunch.com/2024/12/05/copilot-vision-microsofts-ai-tool-that-can-read-your-screen-launches-in-preview/

Copilot Visionをオンにすると、自動的にEdgeで表示中のウェブページを分析し、ユーザーに対する適切なサポートを行うことができます。以下の動画では、博物館を訪れる計画を立てた女性がCopilot Visionにその博物館について紹介してもらう例が示されています。

Co-planning with Copilot Vision - YouTube

また、Copilot Visionはユーザーとの対話を行い、買い物をサポートすることも可能です。

Co-shopping with Copilot Vision - YouTube

表示されたGoogleストリートビューの画像からその場所を特定するゲーム「Geoguessr」のプレイを手伝うことも可能以下の動画では「中国語が大きく書かれています」といったアドバイスをプレイヤーに音声で提供しています。

Co-gaming with Copilot Vision - YouTube

Microsoftによると、Copilot Visionを構築するにあたり、最も重視したのはユーザーのセキュリティやプライバシーとのこと。実際にCopilot Visionのオン・オフはユーザーの判断に委ねられているほか、Copilot Visionとのセッションを終了すると、発言した内容とコンテキストに関するすべてのデータが削除されます。また、Copilot Visionを使用するユーザーのデータはMicrosoftプライバシーステートメントに従って取り扱われ、システムの改善を目的としてCopilot Visionの回答だけが記録されるそうです。

Microsoftは「今回のCopilot Visionの提供にあたり、一部のサードパーティーのパブリッシャーとの協力関係を結びました。こうした企業は、ユーザーがウェブサイト内でどのようにCopilot Visionを利用して意思決定を行っているかを分析するのを助けてくれます」と語りました。

なお、記事作成時点でCopilot Visionはアメリカの一部のCopilot Proユーザーにのみ提供されており、Copilot Visionが利用できるウェブサイトは特定の一部のサイトに限られています。Microsoftは「Copilot Visionが著作権で保護されたコンテンツを取得、保存、または使用しないように慎重にCopilot Visionが利用できるウェブサイトを拡大していきます。私たちは時間をかけてフィードバックを収集し、テクノロジーを繰り返し調整し、次第により多くのCopilot Proユーザーと多くのウェブサイトへのアクセスを拡大していく予定です」と述べています。