不看像素看控件树：给智能体一张带 ref 的桌面快照
来源：GitHub — 2026-11-05 · ⭐ 14,528 stars · Rust
📋 概述
agent-desktop 让智能体操作 macOS、Windows、Linux 上的桌面程序，但不靠截图和像素比对：它读取系统的可访问性树，把界面返回成 JSON，每个可操作元素都带一个 ref。智能体按 ref 点击或输入，再读一次界面核对结果，循环往复。
🔑 核心要点
- 循环完全留在智能体侧，这个仓库里没有模型，只交付一个 CLI 和一个 C 库，两者跑同一套内核。
- 每个二进制只针对一个操作系统编译，通过 PlatformAdapter 只碰该系统自己的可访问性 API，不做跨平台模拟。
- 自带 desktop 与 platform 两套技能，分别讲清 ref 怎么用、结果怎么校验、失败怎么重试，以及各系统差异。
- 官方明确提醒：快照、剪贴板、截图与调试产物可能包含私人桌面内容，不要进公共日志和上传通道。
💡 金句
It reads the accessibility tree of a desktop app and returns it as JSON, with a ref for every element the agent can act on.
👍 0
👎 0
← 返回 GitHub Trending 首页