browser-use, but for the entire desktop — give any AI Agent eyes and hands on Windows
18 tools with mixed quality. Strengths: all tools have descriptions (10-200 chars, mostly good); input schemas present with type definitions for most tools; clear verb-noun naming (screenshot, click, list_ui_elements). Weaknesses: descriptions are in Chinese, limiting LLM comprehension; several tools lack output schema documentation; error handling guidance is minimal; no parameter validation constraints (enums, ranges) visible; high-risk tools (run_task, do_actions) lack confirmation/dry-run patterns; tool composition could be tighter (click + click_scaled + click_element_id + click_element are overlapping concerns).
点击屏幕坐标 (x, y)(物理像素)。
按自然语言描述定位并点击 UI 元素,一步完成(如 "点击确定按钮")。
点击 list_ui_elements 返回的元素 id(使用最近一次枚举的缓存)。
点击 screenshot 返回图上的缩放坐标(内部自动乘 scale 换算回物理像素,无需心算)。
批量执行一串动作,最后返回一次截图。 每个动作为 {"action": 名称, ...参数},支持: click(x,y) / double_click(x,y) / right_click(x,y) / type_text(text) / press(key) / hotkey(keys) / scroll(clicks[,x,y]) / click_element_id(element_id) / set_element_text(element_id,text)。 每步间默认 sleep interval 秒;某步失败即中止。一次调用即可完成 "点输入框→输入→Tab→输入→回车" 这类序列,省去多轮 MCP 往返。
双击屏幕坐标 (x, y)。
按自然语言描述定位 UI 元素(如 "保存按钮")。 内部策略链:UIA 文本匹配(零模型依赖)→ SoM + VLM 视觉定位。 返回元素的坐标、名称和命中方式。
Descriptions in Chinese limit LLM comprehension. MCP servers must use English descriptions for cross-language LLM compatibility. Chinese descriptions will be misunderstood or ignored by non-Chinese-trained models.
Irreversible operations (run_task, do_actions, click, set_element_text) lack confirmation/dry-run patterns. Agents can execute destructive actions without safeguards. No confirm_callback integration visible in MCP server registration.
| Scored | Grade | Overall | Spec posture | Rubric |
|---|---|---|---|---|
| 2026-09-23 | D | 55 | 2026-07-28+ | v2 |
读控件文本(优先 UIA ValuePattern,退回控件名称)。使用最近一次枚举的缓存。
按组合键,keys 用 + 分隔,如 "ctrl+s"、"alt+tab"。
枚举前台窗口的可交互控件(id、名称、类型、坐标)。零模型依赖,速度快。 返回 {"foreground_title": 前台窗口标题, "elements": [...]}。
按单个键,如 "enter"、"esc"、"tab"。
就当前屏幕内容向 VLM 提问(如 "这个弹窗说了什么?")。需要配置 VLM。
右键点击屏幕坐标 (x, y)。
视觉行为循环:自主完成一个桌面任务(如 "打开计算器算 25*4")。 循环执行 观察截图→VLM决策→动作→验证,直到完成或达到步数上限。需要配置 VLM。
截取当前屏幕。annotate=True 时在图上叠加编号框并返回可交互元素列表。 max_size:最长边像素上限(0=读配置,默认 1280);quality:JPEG 质量 (0=读配置,默认 80)。字节数超限时会自动降 quality 重编码,防输出被截断。
滚动鼠标滚轮。clicks 正数向上、负数向下;可选指定滚动位置。
写控件文本:走 UIA ValuePattern.SetValue,可绕过禁粘贴的输入框。 使用最近一次枚举的缓存;失败时返回 ok=False,可回退 click_element_id + type_text。
在当前焦点处输入文本(支持中文,自动走剪贴板粘贴)。
Output schemas not documented for most tools. LLMs cannot plan downstream calls or extract required fields. E.g., run_task and find_element return structures not formally specified in tool definitions.
No input validation constraints (enums, ranges, patterns) visible. E.g., hotkey accepts free-form strings with no validation; scroll clicks unbounded; quality/max_size lack min/max. LLMs will pass invalid values.
Tool composition overlap: click, click_scaled, click_element_id, click_element, and find_element all perform clicking with different input modes. LLMs waste reasoning cycles choosing between them. Consolidate into one canonical click tool with overloaded parameters.