AI 爬虫与搜索引擎爬虫：七个夜晚的普查
来源：dev.to — 2026-11-01
📋 概述
作者在自己小站点上数了七个夜晚的敲门记录：8654 次爬虫访问对 247 次真人访问，平均每个真人读者对应 35 次爬虫。PerplexityBot 以 273 次远超 OpenAI 的 OAI-SearchBot 的 30 次；SEO 工具爬虫 1274 次，还多过搜索引擎自家爬虫合计的 885 次。24 种爬虫里只有 2986 次访问报了名字，65.5% 完全匿名。
🔑 核心要点
- 搜索引擎爬虫合计：Yandex 643、DuckDuckBot 137、Bingbot 91、Googlebot 14。
- 三分之二的访问不表明身份，按名字放行的 robots.txt 规则因此有盲区。
- AI 侧的爬虫量已经压过搜索侧，Perplexity 一家就是 OpenAI 的九倍。
- 作者附了十分钟就能在自己日志上复现普查的做法。
💡 金句
“A crawler census is the guest list nobody publishes.”
译：爬虫普查是一份没人公开发布的宾客名单。
👍 0
👎 0
← 返回 dev.to 首页