AIエージェントを「マウスの動き」で見抜く検知手法が研究されている

ウェブサイト上で人間の代わりに操作するAIエージェントを「マウスの動き」から見分ける手法をCDNやサイバーセキュリティサービスを提供するAkamaiが研究しています。人間とAIエージェントではマウス操作の回数や間隔に大きな違いがあり、Akamaiは少ない操作データでもAIエージェント特有の振る舞いを判別する仕組みを試作しました。

Identifying Agentic Automation with Behavioral Telemetry
https://www.akamai.com/blog/security-research/identifying-agentic-automation-behavioral-telemetry

ウェブサイトのセキュリティでは長年にわたり、アクセスしている相手が「人間なのかボットなのか」を見分ける技術が使われてきました。ところが自然言語による指示を受けてブラウザを自律操作するAIエージェントが登場したことで、従来の「人間かボットか」という分類だけでは捉えにくいアクセスが増えてきました。AkamaiはPerplexity Comet(Comet)やOpenAI Atlas(Atlas)、Claude Chrome Extensionなどのブラウザ操作機能を例に挙げています。こうしたAIエージェントに対しユーザーが「商品を探してカートに追加する」といった指示を出すと、エージェントがブラウザを操作して目的の場所をクリックしたり必要な情報を入力したりします。

AIエージェントは人間になりすまそうとしているわけではなく、目的達成に不要な操作をほとんど行わない点が特徴です。人間ならページを読みながらカーソルを動かしたり、クリック前にリンクへマウスを重ねたり、情報を探すためにスクロールしたりします。一方でAIエージェントは目的の場所へ直接移動して正確にクリックし、必要な入力を終えると次の操作へ進みます。結果としてマウス操作の記録が非常に少なく機械的になります。

Akamaiのボット検知製品「Bot Manager Premier」はマウス移動やクリック、スクロールといった操作を行動データとして収集し、人間とボットを判別するために利用しています。しかし従来のモデルは、人間らしいマウス操作を再現して検知を回避しようとするボットを主な対象としており、操作パターンを判定するには一定量のマウス操作データが必要でした。AIエージェントはほとんどマウス操作を行わないため、マウス操作のデータが集まらず従来のモデルでは分析できなかったとのこと。実際にCometとAtlasを調べると63.2％のリクエストではマウスイベントがゼロで、従来モデルが分析できるだけのマウス移動があったのはわずか1.0％でした。

そこでAkamaiはマウス操作を文章の「単語」のように扱う方法を考案しました。マウス移動やクリックの種類だけでなく操作同士の時間間隔もTransformerと呼ばれる機械学習技術で分析し、少ないイベントから人間とAIエージェントの違いを読み取ります。約350万件のマウス操作データを使って人間の基本的な操作パターンを学習させた後、CometやAtlasなどから集めた2190件のAIエージェントの操作データを使って分類モデルを訓練しました。

下図は人間とAIエージェントの操作データをPCA(主成分分析)とt-SNEという手法で2次元に可視化したもの。青が人間、赤がボットやエージェントです。最終的に採用した小規模なニューラルネットワークは分類性能を示すROC-AUCで0.981を記録したとのこと。ROC-AUCは1に近いほど分類性能が高い指標で、0.981は人間とAIエージェントを高い精度で区別できたことを示します。ただし操作を1回だけ行って離脱する人間などはAIエージェントと似た特徴を示すため、単純に「操作が少ないアクセス」をAIと判断するだけでは不十分と述べられています。

なお今回発表された仕組みは製品として提供されている新機能ではなく、将来の実用化を想定した概念実証段階の研究です。Akamaiは今後の研究でリクエスト単位とセッション単位の検知性能や、異なるウェブサイトでもAIエージェント特有の特徴を見分けられるのかを検証し、実際のサービスで利用できる仕組みにするために必要な条件についても説明するとしています。