让网站对 agent 友好：一份地图、一份全量目录和干净的 markdown
来源：dev.to — 2026-11-14
📋 概述
要让 agent 找全作者关于某个协议的全部内容，它得打开四个标签页，合计约两百五十七 KB 的 HTML，而其中真正的文字只有十二 KB，剩下都是菜单、页脚、图标和样式。于是作者在站点上开了几扇纯文本门：一份短地图、一份全量目录，以及每篇文章一份干净的 markdown 副本。
🔑 核心要点
- 一篇五万四千多字节的文章页里，约百分之七十一在正文之外，正文可见文字只有三千多字节。
- 对应的 markdown 副本约四千字节，只有 HTML 的百分之七左右。
- 站点主人比模型更清楚哪些页面重要，自己生成的短地图胜过让模型猜站点地图。
- 即使主流爬虫还没开始用这个文件，它已经能让 agent 少读大量噪声。
💡 金句
“The person who runs the site already knows which pages matter.”
译：运营网站的人本来就知道哪些页面重要。
👍 0
👎 0
← 返回 dev.to 首页