Vercel発『agent-desktop』の正体とcua-driverとの比較検証

VercelのChris Tate氏が発表した、AIエージェント向けのPC操作ツール『agent-desktop』について解説します。既存のツールである『cua-driver』との違いや、実際にMacで動かして分かったメリット・デメリットを正直にレビューします。

agent-desktopの概要と特徴

10月31日、VercelのChris Tate氏がXで発表した『agent-desktop』は、macOS、Windows、Linuxに対応したAIエージェント向けのPC操作ツール（CLI）です。最大の特徴は、ユーザーが作業している裏側でエージェントを動かせる点にあります。インストールは非常に簡単で、npm install -g agent-desktop コマンドで導入可能です。macOSの場合はアクセシビリティの権限が必要ですが、ターミナルの権限さえあれば動作するため、導入のハードルが低いのが魅力です。

座標指定ではなく「部品番号」で操作

従来のComputer Useツールは、スクリーンショットを撮影し、AIが画像から座標（x, y）を割り出してマウスを動かす仕組みが一般的でした。しかし、agent-desktopはOSのアクセシビリティAPIからボタンや入力欄の一覧を取得し、それぞれに番号を振って操作します。AIは画像を見なくても「どこに何があるか」を構造的に把握できるため、トークン消費を抑えつつ、より確実な操作が可能です。実際に電卓アプリで検証したところ、読み取り速度は0.23〜0.28秒程度と非常に高速でした。

競合ツール「cua-driver」との比較

先行するツールである『cua-driver』と比較すると、いくつかの明確な違いがあります。まず導入面では、cua-driverは専用アプリのインストールや画面収録の権限設定など手順が多いのに対し、agent-desktopはターミナルの権限のみで始められます。一方で、操作の柔軟性には差が出ました。cua-driverは「仮想カーソル」を用いてユーザーのマウス操作を邪魔せずに裏側で座標クリックが可能ですが、agent-desktopは座標で押そうとすると「本物のカーソルを動かすモード」にする必要があり、作業中のPCで共存させるには制約があります。

検証結果：どちらを選ぶべきか

今回の検証では、電卓アプリの操作やテキストエディタへの入力、読み戻しによる確認作業を行いました。agent-desktopは「入力した文字をアクセシビリティツリーから読み戻して確かめる」という動作が標準化されており、信頼性が高いです。結論として、開発者が自分のPCで手軽に自動化を試すならagent-desktopが向いており、より高度な「ユーザーの作業を一切邪魔しない裏側での操作」を追求するならcua-driverに軍配が上がります。用途や導入のしやすさに合わせて選択するのが良いでしょう。

なぜ重要か

agent-desktopは、アクセシビリティAPIを活用することで「画像認識に頼らないPC操作」を実現しており、トークン節約と精度の両立を目指しています。ただし、座標ベースの操作においては実カーソルを占有してしまうというトレードオフがあるため、完全なバックグラウンド実行を求める場合は、仮想カーソルを実装しているcua-driverとの使い分けが重要になります。

こんな人におすすめ

AIエージェントによるPC操作の自動化に興味がある開発者や、Vercelの新しいエージェントツールを試してみたい人。導入の手軽さと既存ツールとの機能差を理解できます。