从一次请求到整站抓取：选择器会自适应，改版也不怕
来源：GitHub — 2026-11-03 · ⭐ 92,512 stars · Python
📋 概述
Scrapling 把抓取链路的四段收进一个 Python 库：快速 HTTP 请求与带隐身能力的浏览器、CSS/XPath/正则加自适应元素追踪的解析、并发爬虫加代理轮换与断点续爬、以及面向智能体的 MCP 服务器和命令行工具。它最实用的部分是可处理 Cloudflare 的挑战页、把整站抓成干净的 Markdown，让同一份解析代码在站点改版后仍然命中目标元素。
🔑 核心要点
自适应元素追踪：站点结构变了，选择器按相似元素重新对齐，不必每次改版就重写解析。 隐身浏览器与挑战页处理内置：纯 HTTP 打不动时同一套接口切到渲染模式。 爬虫工程化齐全：并发、代理轮换、重试、自动限速、暂停续跑、导出一次配好。 三种入口：Python 调用、终端命令、智能体通过 MCP 服务与 Agent Skill 直接抓。 输出面向下游：能直接把页面转成干净 Markdown，省掉再写一层清洗。
💡 金句
Scrapling is a Python Web Scraping framework that brings fast HTTP requests, stealth browsers, powerful parsing, and concurrent crawling into one library.
👍 0
❤️ 点赞
👎 0
沉底
← 返回 GitHub Trending 首页