作者今年决意不让站点被搜索引擎收录，以对抗 AI 无休止的抓取。他先在 robots.txt 里写 Disallow: /，几周后毫无效果；又加 robots meta 的 noindex, nofollow，仍不见效。后来才意识到，反讽的是，必须让负责去索引的爬虫访问页面，它才能读到那条“不要索引我”的标签。三个月后他终于确认站点已从 Google 消失。
🔑 核心要点
动机是对抗 AI 无休止的抓取，主动退出搜索索引
第一步在 robots.txt 写 Disallow: /，等待几周毫无效果
第二步加 robots meta 的 noindex, nofollow，仍然无效
关键领悟：必须允许负责去索引的爬虫访问页面，它才能读到不要索引的标签
需要为 Googlebot 单独 Allow: /，并对其他常见爬虫重复这一操作
💡 金句
我没意识到的是，反讽的是，你得先允许那个负责“去索引”的爬虫访问你的网站，它才能看到那条叫它别再索引你页面的 meta 标签。