追查一个爬虫：从 Contabo 机房 IP 段爬空的网站
来源：bruceediger.com — 2026-10
📋 概述
作者做了一个「爬虫垃圾场」实验：用 PHP 生成一棵巨大的二叉树页面，每个页面链接到父节点与左右子节点，节点号按广度优先编号，最大节点号到 1048578，总共 20 层满加第 21 层的 4 个。两个月里他分析 Apache 日志，确认至少有一个爬虫从 Contabo GmbH 的 IP 地址空间工作，而且爬行极其规整——按超链接有序遍历、每页只取一次、不产生重复请求、整体速率压在每秒 4 次左右，同样的顺序重复了大约六遍。
🔑 核心要点
- 实验设计很聪明：节点号按广度优先编号的二叉树页面，让爬虫的请求序列可以直接从节点号读出结构
- 规模：最大节点号 1048578，20 层满树加第 21 层 4 个节点，覆盖两个月日志
- 爬行行为规整到反常：有序遍历、每页只请求一次、无重复、速率稳定在约 4 次/秒
- 组织方式：4 个时间段共 7690 个 IP 发起请求，其中 2964 个 IP 全程参与，说明是集中调度的爬虫集群
- 从节点号随时间的变化能切出若干「系列」与子系列，说明它按树的层级并发推进
- 作者判断这是一支在 Contabo 机房里跑、由中心调度的爬虫——租 VPS 就意味着花了真金白银
- 他用 Go 自己复现了类似行为，结果节点推进比这个爬虫「模糊」得多，推测对方是队列加分布式系统的组合
💡 金句
It seems evident that there’s a centrally-coordinated web site scraper operating out of Contabo GmbH IP address spaces.
👍 0
👎 0
← 返回 Lobsters 首页