API、CLI、MCP が無いレガシーや GUI 専用ソフトを、アクセシビリティツリーまたは画面から読み、クリック・入力・キー操作・スクロール・ドラッグで進める。パブリックプレビュー。構造化できる手段がある場合はそちらを優先。
既定はオフ。CLI では /computer on。状態確認は /computer show、無効化は /computer off。バンドルの computer-use プラグインと MCP サーバーを有効化。アプリでは Settings の Computer Use で Enable Computer Use をオン。/computer on でもよい。
操作前にアプリごとの承認。Allow は当該セッション、Always allow は同一マシンの CLI とアプリの双方に残る。拒否ルールが優先。アプリ側の Always allowed apps から個別削除でき、以後のセッションでは無効。実行中セッションの許可は取り消さない。中断は CLI で Esc 二回、アプリでは Stop または Esc。macOS では Accessibility と Screen Recording の許可を案内する。組織の managed settings で無効化でき、ローカル設定では上書きできない。
UI の変化やウィンドウ状態で誤操作や繰り返しが起きる。曖昧な指示や画面上の想定外の内容は、端末・データ・接続アカウントに影響しうる。Always allow は機微情報や高影響操作のあるアプリには向かない。画面に写る内容は Copilot の文脈になる。