crawl-mcp has 8 tools with complete input schemas and descriptions. Naming follows verb_noun convention (crawl_*, search_*). Descriptions are detailed (100-400 chars) and explain WHEN to use each tool vs alternatives, which is excellent for LLM selection. However, output schemas are documented only in docstrings, not in formal JSON Schema. Parameters lack enums for constrained values (e.g., region, safesearch, timelimit formats are described but not formally constrained). Error handling is minimal, no guidance on recovery or retry logic. Tool composition is good: crawl_single/batch/site are distinct; search_* tools are separate from crawl tools. Security: no secrets exposed as parameters (llm_config is optional and server-side validated). Overall: solid definitions with room for formal schema rigor and error guidance.
批量爬取多个网页(自动降级版) 适用于已经有一组明确 URL、需要并行抓取多个页面的场景。 默认对所有 URL 并行快速提取;只有失败、内容过短或 SPA 骨架页才进入浏览器 fallback。 若只有一个 URL,请使用 crawl_single;若只有入口页并希望发现站内链接,请使用 crawl_site。
爬取单个网页(自动降级:快速提取 → 浏览器渲染) 适用于已经知道一个明确 URL、需要提取该页面正文 Markdown 的场景。 默认先尝试轻量级快速提取(适合静态文章/文档页),失败、内容过短或检测到 SPA 骨架页时 自动切换到浏览器渲染。若要从一个入口页继续发现站内链接,请使用 crawl_site; 若已有多个明确 URL,请使用 crawl_batch。
从入口页开始递归爬取站内页面(浏览器 + BFS 深度爬取) 适用于只有一个网站入口、希望沿站内链接抓取若干页面的场景。 与 crawl_batch 不同,本工具会从起始页发现链接;与 crawl_single/crawl_batch 不同, 本工具不走快速提取自动降级,也不支持 LLM 后处理。
搜索图书 适用于查找技术书籍、学术资料、电子书等。
搜索图片(支持下载和分析) === 基础搜索 === query: 搜索关键词 max_results: 搜索结果数量(默认:10) === 搜索过滤 === region: 区域代码 (wt-wt/us-en/cn-zh等) safesearch: 安全搜索 (on/moderate/off) timelimit: 时间限制 (d=天, w=周) size: 图片尺寸 (Small/Medium/Large/Wallpaper) color: 颜色过滤 (如 "Red", "Monochrome") type_image: 类型 (photo/clipart/gif/transparent/line) layout: 布局 (Square/Tall/Wide) === 下载选项 === download: 是否下载到本地(默认:False) download_count: 下载数量(默认:全部) output_dir: 下载目录(默认:./downloads/images) === 分析选项 === analyze: 是否使用图片模型分析(默认:False) analysis_prompt: 分析提示词 analyze_concurrent: 分析并发数(默认:3)
Output schemas documented only in docstrings, not in formal JSON Schema. LLMs cannot parse docstring examples to infer response structure for chaining.
Constrained parameters (region, safesearch, timelimit) lack enum definitions. Described as free-form strings with examples, inviting LLM hallucination of invalid values.
No error handling guidance. Tools return success/error dict but do not indicate whether errors are retryable, user-fixable, or fatal. No recovery hints.
Inferred effective spec: <=2025-11-25.
| Scored | Grade | Overall | Spec posture | Rubric |
|---|---|---|---|---|
| 2026-09-23 | D | 59 | <=2025-11-25 | v2 |
搜索新闻内容 适用于搜索突发新闻、时事、财经、体育等时效性内容。 只返回新闻搜索结果摘要和来源链接,不抓取全文;如需全文,请对结果 URL 再调用 crawl_single。
搜索网页内容(通用搜索) 适用于搜索技术文档、百科、博客、论坛、教程等网页内容。 只返回搜索结果摘要和链接,不抓取页面正文;如需正文,请对结果 URL 再调用 crawl_single/crawl_batch。
搜索视频 适用于查找教程视频、演示视频、课程录像等。
search_images tool marked WRITE risk but performs read-only search. Only download/analyze options are write-like; core search is read-only. Mislabeled risk classification.
Timeout middleware configured per-tool but no timeout errors documented in tool descriptions. LLMs unaware of timeout behavior or how to handle hung requests.