AI 爬虫看不到 JavaScript 链接：网站主需要修什么

📋 概述

Search Engine Land 公布的一项 41 天实验发现，GPTBot 与 ClaudeBot 会跟随标准 HTML 链接，却到不了仅通过 JavaScript 注入链接才能访问的页面。实验在一个 2400 页的站点上把页面分成两种发现方式：一组靠普通 HTML 链接可达，一组依赖 JS 注入的链接，研究者在 41 天里观察 GPTBot、ClaudeBot、Googlebot、GoogleOther、Bingbot 等爬虫。结论不是说现代网站该放弃 JavaScript，而是关键内容与导航路径不能只依赖 JS，希望在 AI 助手与 AI 搜索里获得可见性的站点，重要页面应当能在原始 HTML 中被访问到。