上了 Hacker News 之后，我的网站被 AI 机器人流量淹没 — Hacker News 中文摘要
来源：sammystraus.com — 61 分 · by sammy0910
📋 概述
作者把自制的可定制信息流阅读器 sprinklz.io 发到 HN，拿到一百多赞，随后网站开始变得极慢，而且帖子火了几天后还在恶化。他给每个接口加上顶层日志后发现有价值的信号很反直觉：多数请求根本没去取文章，也就是说连渲染单页应用所需的 JavaScript 都没执行。翻 NGINX 聚合日志找出滥用者，结果近一半流量来自同一个「监听网站变化再摘要成 AI 简报」的服务，它每分钟查询很多次，已被封禁；其余包括 Claude、OpenAI、Google 的爬虫、几个漏洞扫描器（在探测 WordPress 的 phpinfo 路径）。他补上 robots.txt、速率限制，并着手让基础设施真正扛得住高并发。
🔑 核心要点
- 发帖后网站变慢，且在热度过去几天后仍在恶化。
- 日志显示多数请求根本没取文章，连渲染页面所需的 JS 都没跑。
- 近一半流量来自同一个「监听网站变化并摘要成 AI 简报」的服务，每分钟查询多次。
- 其余流量是 Claude、OpenAI、Google 等自报身份的爬虫与漏洞扫描器。
- 对策包括 robots.txt、合理限流，并请 Claude 模仿扫描器自查是否泄露。
- 最终落点是把网站做得真正扛得住高并发真实流量。
💡 金句
it turns out that nearly half of our traffic was coming from one specific user.
👍 0
👎 0
← 返回 Hacker News 首页