MicrosoftがAI「Copilot Studio」にPCを自動操作できる「computer use」を追加、Windows上で動くあらゆるアプリを自動的に操作可能

AIエージェントがウェブサイトやアプリのボタンをクリックしたり、メニューを選択したり、あるいは入力フィールドに文字を入力したりできる機能「computer use」をMicrosoftが発表しました。

Announcing new computer use in Microsoft Copilot Studio for UI automation | Microsoft Copilot Blog
https://www.microsoft.com/en-us/microsoft-copilot/blog/copilot-studio/announcing-computer-use-microsoft-copilot-studio-ui-automation/

AIエージェントを自作できるツール「Copilot Studio」にアクセス・リサーチ・プレビュー版として追加されたcomputer useは、AIエージェントにGUIを操作できる力を与えるもので、デスクトップアプリケーション上のさまざまなボタンやフィールドにAIエージェントがアクセスできるようにするものです。

Copilot Studioでcomputer useを使うと、デスクトップアプリとブラウザアプリの両方でGUIを認識して操作できるAIエージェントを構築できます。Microsoftによると、「computer-useにより、AIエージェントはGUIを備えたあらゆるシステムと対話できるようになる」とのことで、これによりシステムに直接接続できるAPIがない場合でもAIエージェントはタスクを処理することが可能になり、AIエージェントがボタンをクリックしたり、メニューを選択したり、画面上のフィールドに入力したりすることが可能になります。

さらに、「推論」を使ってアプリやウェブサイトの変更に自動的に適応するため、単純な自動化処理ではできなかった柔軟な対応が可能となり、作業が中断されることはないそうです。

computer-useはMicrosoftがホストするインフラストラクチャ上で実行されるため、企業は独自のサーバーを管理する必要がありません。また、企業データはMicrosoftのサーバーに保管されるものの、将来のAIモデルの学習に使用されることはありません。Microsoftは導入の迅速化、メンテナンスの軽減、インフラコストの削減が可能になると宣伝しています。

利用するシチュエーションとしては、大量のデータを集中システムに入力するという状況や、複数のソースから市場データを自動収集して分析するという状況、請求書からデータを抽出して会計システムへ入力するといった状況で、AIエージェントによる自動化処理を行えます。

computer useの設定にコーディングは不要で、自然言語で指示を出し、動画でプロンプトをテストして改良することができます。さらに、AIがキャプチャしたスクリーンショットや推論ステップなどの活動履歴を自由に見ることもできます。

computer useについては、2025年5月に開催される開発者向けイベント「Microsoft Build」でも詳しく紹介される予定とのことです。