不看像素看控件树：给智能体一张可重放的桌面快照
来源：GitHub — 2026-11-04 · ⭐ 12,136 stars · Rust
📋 概述
agent-desktop 是 Vercel 实验室出的一部命令行工具与 C 库，让智能体通过操作系统无障碍树读取并操作桌面应用。一次 snapshot 返回 JSON，每个可操作元素都带一个 ref；按 ref 动作后再快照一次就能核对结果，全程不做像素匹配，控制回路仍留在你自己的智能体里。macOS、Windows、Linux 三平台均可，npm 一条命令安装。
🔑 核心要点
- ref 只属于生成它的那份快照：拿裸的 @e8 去点会被直接拒绝，界面一变就得重拍。
- 每次调用都是独立进程，无头模式同样禁止前台激活与合成输入，动作边界写得很死。
- 权限按平台分：macOS 要辅助功能授权，Windows 在同等完整度下无需额外授予，Linux 要 at-spi2-core。
- 快照、剪贴板、截图与调试产物都可能带走私人桌面内容，文档明确要求别进公共日志。
- 可选的 JEV 助手会把屏幕描述发给配置好的模型提供商，与原生 CLI 是两件事，得自己权衡。
💡 金句
The agent acts on a ref and snapshots again to check, with no pixel matching; the loop stays in your agent.
👍 0
👎 0
← 返回 GitHub Trending 首页