选择器会自适应：站点改版之后，抓取定位还能找回来
来源：GitHub — 2026-11-05 · ⭐ 96,147 stars · Python
📋 概述
Scrapling 把快速 HTTP 请求、隐身浏览器、解析与并发爬虫收进同一个 Python 库。静态页、JavaScript 渲染页、需要与页面交互的流程，以及页面背后调用的接口都能处理；爬虫侧提供可复用会话、代理轮换、自动重试、暂停续跑与多种导出。
🔑 核心要点
- 自适应元素追踪加相似元素匹配，是它和普通选择器最大的区别：站点改版后定位仍能找回来。
- 能处理 Cloudflare Turnstile 与插页校验，也能在后台捕获页面发出的接口请求与返回。
- 并发 spider 带 AutoThrottle，支持流式导出 JSON、JSONL、CSV、XML，规模上去不至于散架。
- 除 Python 与命令行之外，还提供 MCP 服务器与 Agent Skill，智能体可以不经人手直接抓取。
💡 金句
From extracting a few fields to collecting a whole website as clean Markdown, Scrapling covers the full scraping workflow.
👍 0
👎 0
← 返回 GitHub Trending 首页