从一次请求到整站抓取：选择器会自适应，改版也不怕
来源：GitHub — 2026-11-04 · ⭐ 94,182 stars · Python
📋 概述
Scrapling 把快速 HTTP 请求、隐身浏览器、解析与并发爬虫合进一个 Python 库。静态页、JavaScript 渲染、与页面交互、甚至抓页面背后调用的接口都能做；爬虫侧提供可复用会话、代理轮换、自动重试、暂停续跑和多种格式导出。除了 Python 与命令行，它还带一个 MCP 服务器和 Agent Skill，让智能体直接上手抓。
🔑 核心要点
自适应元素追踪加相似元素匹配：站点改版后定位还能找回来，这是它跟普通选择器最大的差别。 能处理 Cloudflare Turnstile 与插页校验，也能在后台捕获接口返回。 输出可以是干净的 Markdown，抓完直接进知识库。 并发 spider 带 AutoThrottle、流式导出 JSON、JSONL、CSV、XML，规模上去也不散架。 一条命令就能从单页起步，再逐步加代理、加会话、加上限。
💡 金句
Scrapling is a Python Web Scraping framework that brings fast HTTP requests, stealth browsers, powerful parsing, and concurrent crawling into one library.
👍 0
❤️ 点赞
👎 0
沉底
← 返回 GitHub Trending 首页