Gemini 3.5 Flashに画面を認識してクリックや文字入力する能力「computer use」が追加される、PCを操作するエージェントの構築が可能に

GoogleがAIモデル「Gemini 3.5 Flash」に、画面を見ながらクリックや文字入力などを行う機能「computer use」を組み込んだと発表しました。

Introducing computer use in Gemini 3.5 Flash
https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-computer-use-gemini-3-5-flash/

computer useは、AIエージェントがスクリーンショットをもとに画面の状態を理解し、自律的にコンピューターを操作する機能です。computer useは以前「Gemini 2.5 computer use model」として単独のモデルとして提供されていましたが、今回はGemini 3.5 Flashに組み込まれたとのこと。

複数の手順を伴う業務の自動化、企業向けアプリをまたぐ情報収集、ウェブアプリの動作確認、アクセシビリティテストなどの用途が想定されているとのこと。Gemini 3.5 Flashでは操作の意図も出力されるため、開発者はAIがなぜ特定のボタンを押そうとしているのかを把握しやすくなります。

以下はOS上の操作をAIがどれだけ正確に実行できるかを測るベンチマーク「OSWorld-Verified」の結果。Gemini 3.5 Flashが78.4を記録し、Gemini 3 Flashの65.1から大きく向上したほか、Gemini 3.1 Proの76.2も上回りました。その他、Sonnet 4.6が78.4でGemini 3.5 Flashと同点、Opus 4.8が83.4で最も高いスコアを獲得。GPT-5.4 miniは72.1、GPT-5.5は78.7となっており、Gemini 3.5 Flashは軽量で高速なFlash系モデルでありながら、PC操作を伴うエージェント用途でも上位モデルや競合モデルに迫る性能を示しています。

一方で、AIが画面を見て操作する仕組みでは、悪意あるページ上の文章にAIがだまされる危険があります。Googleは企業向けの任意の保護機能として、取り消しにくい操作や機密性の高い操作ではユーザー確認を求める仕組み、間接プロンプトインジェクションを検出した場合にタスクを止める仕組みなどを用意しているとのことです。

Googleは記事作成時点でデモ環境や参照実装、ドキュメントも公開しています。Gemini 3.5 Flashにcomputer useが加わったことで、AIは回答を返すだけでなく、画面を見て操作するエージェントとして使いやすくなるとGoogleは述べています。