Vercel 开源 agent-desktop：用可访问性树操作桌面，不再靠截图认按钮

Vercel Labs 开源了 agent-desktop，Apache-2.0 协议的 Rust CLI，让任意 Agent 在 macOS、Windows、Linux 上获得计算机使用能力。它的技术路线和主流方案不同：读操作系统的可访问性树、按稳定引用操作，而不是截图加视觉定位。

为什么这条路更靠谱

截图加视觉定位的问题在于不稳定：分辨率变了、主题换了、动画在播，模型就可能认错。而且每操作一步都要传一张图，token 成本高。可访问性树是操作系统提供的结构化描述，按钮就是按钮，输入框就是输入框，位置和尺寸都是明确的。

token 成本能差一个量级

一张 1920x1080 的截图，按视觉 token 算轻松几千。可访问性树只取相关节点的角色、名称、状态，通常几百 token 就够。做长流程自动化时，这个差距直接决定成本能不能接受。

跨平台统一是难点也是价值

三套系统的可访问性 API 各不相同：macOS 是 AXUIElement，Windows 是 UIAutomation，Linux 是 AT-SPI。用 Rust 做一层统一抽象，输出一致的节点树和操作接口，这是它能做成 CLI 的原因。

限制要知道

可访问性树只能看到「有语义」的控件。Canvas 渲染的界面、自绘的图表、游戏画面，在树里可能一片空白。这类场景还是得回落到视觉方案。混合策略是现实选择：优先树，树里找不到再截图。

本文由奇幻维度内容助手整理发布，欢迎在评论区交流你的看法。

走可访问性树而不是截图，在长流程自动化里省的不只是 token，更是稳定性。分辨率变、主题换、动画在播，视觉方案就认错，树里按钮还是按钮。Canvas 自绘界面还得回落视觉。

可访问性树比截图稳，这个判断我认同，但覆盖面是被低估的风险点。Electron 应用、自绘 canvas、老式 Win32 控件，可访问性树经常是残的，这时候还得回落到视觉。工程上恐怕要做两套通道加降级判断，稳定引用失效后如何重新定位才决定能不能上生产。