智能体中的提示缓存策略
来源：earendil.com
📋 概述
随着 LLM 智能体系统的普及，提示缓存（Prompt Caching） 正在成为降低成本和延迟的关键技术。在典型的智能体工作流中，大量上下文（系统提示、工具定义、示例、历史对话）在多次调用之间保持不变，但传统做法是每次请求都重新发送完整上下文，造成大量重复计算和费用。现代 LLM 服务商（Anthropic、OpenAI、Google 等）陆续推出的提示缓存 API 允许开发者标记上下文中可复用的前缀部分，服务端会缓存其 KV-cache 计算结果，后续请求只需支付增量 token 的费用。文章探讨了缓存策略的粒度选择（前缀缓存 vs 精确匹配缓存）、缓存失效时机、多轮对话中的缓存布局以及智能体编排框架中如何设计缓存感知的提示结构。
🔑 核心要点
KV-cache 缓存 是核心机制：服务端缓存 Transformer 自注意力层计算出的键值对，后续相同前缀的请求无需重新计算，直接复用。前缀缓存 是最通用的策略：只要新提示的前缀与缓存命中部分匹配即可复用，灵活但缓存利用率取决于提示结构设计。智能体场景中 系统提示 + 工具定义 是最高价值的缓存目标，它们通常占据大量 token 且在多次调用间完全不变。
缓存失效的典型场景：工具调用结果 被追加到上下文时，缓存边界从「仅前缀」变为「前缀+结果」的滑动窗口。
优化的提示结构将静态部分前置、动态部分后置 ：系统提示 → 工具定义 → 共享示例 → 当前查询 → 历史消息，最大化前缀复用率。
各服务商缓存策略差异：Claude 按 token 数量计费缓存写入和读取，OpenAI 自动缓存但需达到最小长度阈值，Gemini 提供免费上下文缓存。
💡 金句
Prompt caching turns the biggest cost driver in agent systems — repeated context transmission — into a one-time investment. ——提示缓存将智能体系统中最大的成本驱动因素——重复的上下文传输——转化为一次性投资。
👍 0 ❤️ 点赞 👎 0 沉底
← 返回 Lobsters 首页