让代码直接操作任意桌面应用的 Rust 开源库
来源：dev.to — 2026-11-09
📋 概述
大多数智能体靠 API 工作，但桌面上大部分软件根本没有 API。computer-use-rs 是一个跨平台 Rust crate，让代码「看见」任意应用——无障碍树、窗口截图、给模型看的纯文本大纲——并像人一样操作：按索引、像素或屏幕坐标点击，输入文字，按组合键，滚动和拖拽。它是 AgentOne 桌面版 Computer Use 的底层库，MIT 或 Apache-2.0 双许可。
🔑 核心要点
- 一次 get_app_state 同时给出三种视图：带角色/标签/取值/可执行动作的无障碍树、PNG 截图、纯文本大纲。
- 目标应用没运行会在后台被拉起；query 可按文字或角色查找元素，不必截图。
- 点击可指定元素索引、截图像素或屏幕坐标，支持左中右键与多击。
💡 金句
“If you can do it with a mouse and keyboard, an agent with computer use can (at least in theory) do it too.”
译：只要你能用鼠标键盘做到，带 computer use 的智能体理论上也能做到。
👍 0
👎 0
← 返回 dev.to 首页