不看像素看控件树：给智能体一张可重放、可核对的桌面快照
来源：GitHub — 2026-11-03 · ⭐ 8,774 stars · Rust
📋 概述
Agent Desktop 是 Vercel Labs 出的桌面操作层，提供给智能体的是操作系统的无障碍树而不是屏幕像素：一次快照返回一段 JSON，里面每个可操作元素都有一个稳定的 ref，智能体点完 ref 再拍一次快照确认结果，整个循环留在你自己的代理里。它同时提供 CLI 和 C 库，覆盖 macOS、Windows 与 Linux；macOS 上每次快照复用私有命令宿主进程，保留原生无障碍对象，避免某一行被删掉后误命中间一标识的其他行，宿主空闲十五分钟自动退出。
🔑 核心要点
- 以无障碍树代替视觉识别：返回的是带 ref 的结构化 JSON，智能体不需要猜坐标，也不需要像素比对。
- 动作之后必须重新快照：ref 用完即核对，动作可安全重试，失败能被看见而不是被吞掉。
- macOS 用常驻命令宿主保活：保留原生无障碍对象，防止被删元素被同名元素顶替造成误操作。
- 快照、剪贴板、截图都可能带隐私内容：文档明确要求不要进公共日志和上传通道。
- 无障碍不等于万能：无头调用依旧禁止前台激活与合成输入，边界写得比功能更清楚。
💡 金句
A snapshot returns JSON with a ref for every element an agent can act on.
👍 0
👎 0
← 返回 GitHub Trending 首页