上下文窗口到底是什么?
来源:dev.to — Jul 22
📋 概述
一篇面向初学者的 LLM 科普文章,用通俗易懂的方式解释了"上下文窗口"这个概念——它不是什么魔法,更像是模型的"工作记忆"。文章从 CPU 缓存的类比切入,解释了上下文窗口的大小如何影响模型的"记忆力"和"注意力"。
🔑 核心要点
- 上下文窗口不是模型的长期记忆——它更像是 CPU 的缓存:容量有限,用完即清,但决定了当前任务的处理能力。
- 更大的上下文窗口并不总是更好——它可能带来注意力稀释:模型对窗口中间段的内容关注度会下降。
- 理解上下文窗口的本质,有助于你设计更好的提示词策略:关键信息放在开头或结尾,中间部分更容易被忽略。
💡 金句
上下文窗口不是记忆——它是 AI 的 CPU 缓存。
👍 0
👎 0
← 返回 Dev.to 首页