MCP server de automação visual de desktop (RPA) do aluy — vê a tela (OCR), clica e digita, com verificação visual e self-healing.
16 tools with complete input schemas and descriptions present, but quality is inconsistent. Naming follows verb_noun pattern (rpa_*) appropriately. Descriptions are present but often terse (10-150 chars, below the 194-char baseline) and lack actionable context for LLM selection. Parameters have types and descriptions, but many lack constraints (enums, ranges, format specs). No output schemas documented, LLMs cannot predict return structure. Error handling guidance is absent. Tool composition is reasonable (each does one thing), but descriptions don't explain WHEN to use each tool vs. alternatives (e.g., rpa_click_text vs rpa_click_at vs rpa_click_image). Security: no secrets exposed as params (good), but no audit/logging guidance. Overall: functional definitions, but below production baseline for agent-facing tools.
Pergunta sobre a tela (VLM).
Clica em coordenadas absolutas (x,y). Verifica mudança visual.
Encontra um template (imagem .png) na tela e clica. Template matching + verificação.
Clica em tab.
Encontra texto via OCR e clica nele. Com verificação antes/depois.
Descreve tela com VLM.
Arrasta o mouse de um ponto a outro.
No output schemas documented. LLMs cannot predict return structure (fields, types, pagination). Violates pattern:tool and pattern:response-shaper.
Descriptions too terse (40-70 chars) and lack actionable context. Missing WHEN to use each tool vs. alternatives. Baseline is 194 chars; these average ~55 chars. Violates pattern:tool-description.
Parameters lack constraints (enums, ranges, format specs). E.g., 'button' in rpa_click_at has enum, but 'threshold' in rpa_click_image lacks min/max bounds (0.0 - 1.0 implied but not enforced). Violates pattern:constrained-input.
| Scored | Grade | Overall | Spec posture | Rubric |
|---|---|---|---|---|
| 2026-09-23 | D | 57 | 2026-07-28+ | v2 |
Preenche formulário.
Navega menu hierárquico.
Pressiona tecla ou combo (ex.: 'ctrl+c', 'alt+F4', 'Return', 'Escape', 'F9'). ATENÇÃO: atalhos/teclas podem NÃO funcionar em apps Wine e alguns toolkits. Se a tela não mudar, NÃO insista no teclado — abra o recurso por clique (botão de toolbar, menu, painel).
Lê a tela: retorna o TEXTO VISÍVEL com pontos de clique (ex.: '7 @(683,667)'). Use os rótulos para rpa_click_text/rpa_click_at. Recortado no palco; full=true p/ tela inteira; image=true inclui o PNG (só p/ modelos de visão).
Scroll vertical. Positivo = cima, negativo = baixo.
Seleciona opção de combobox.
Digita texto no elemento com foco. Use clear=true p/ LIMPAR o campo antes (essencial em campos numéricos/spinbox como volume e preço do alguns apps Wine, que senão concatenam e viram lixo). ATENÇÃO: o teclado pode NÃO ter efeito em alguns toolkits — se o texto não aparecer, clique no campo.
Espera template aparecer na tela (polling). Timeout default: 30s.
Espera texto aparecer (OCR polling).
No error handling guidance. Tools lack recovery hints (e.g., 'If text not found, try rpa_screenshot to verify visibility'). Violates pattern:recovery-guide.
Tool composition: rpa_click_text, rpa_click_at, rpa_click_image all click but differ in input method. Descriptions don't explain selection criteria (use text when OCR works, image for templates, coordinates when position known). Violates pattern:tool-chain.