读无障碍树操作桌面：每个控件都有编号，不用截图比对
来源：GitHub — 2026-11-06 · ⭐ 16,503 stars · Rust
📋 概述
agent-desktop 让智能体操作 macOS、Windows、Linux 上的桌面应用，但不靠截图和像素匹配：它读出应用的无障碍树并返回 JSON，每个可操作元素带一个引用编号。智能体点编号、再读一次界面确认结果，循环由调用方自己的智能体逻辑驱动，工具里没有模型。
🔑 核心要点
- 快照里每个元素都有引用，点击和输入都针对引用下发，不依赖坐标。
- 同时提供命令行和 C 库，x64 与 ARM64 的原生二进制随包附带。
- 在 macOS 上先跑权限引导，把辅助功能授权一次配好。
- 快照、剪贴板与截图可能含隐私内容，官方提醒不要进公开日志。
💡 金句
agent-desktop gives an AI agent computer use without screenshots or pixel matching.
👍 0
👎 0
← 返回 GitHub Trending 首页