git.kernel.org 的 AI 爬虫之灾：五分之一算力在给爬虫打工

概述

内核维护者 Konstantin Ryabitsev 用硬数据展示 AI 爬虫对 git.kernel.org 的冲击：跨 5 个地理节点的 90 个 CPU 核心中，有 14-16 个核心（约 20% 容量）在持续渲染 git 提交页面供爬虫抓取。讽刺的是，这些数据本可「git clone」轻松获取，爬虫却选择了最愚蠢的方式逐提交渲染 HTML。面对封锁，机器人从伪装浏览器到分散到数百万住宅/移动 IP（很可能是通过电视等家电的「代理 SDK 变现」），甚至已能解出 Anubis 挖矿难度的挑战。目前每天约 600 万请求，真正合法流量估计仅占 2%。