要不要记录大模型的提示词和输出:四种答案,我选哪个
来源:dev.to — 2026-10-30
📋 概述
周五提问:你们记不记大模型的提示词和响应?A 完全不存;B 只存元数据,模型、token 数、延迟、成本、结束原因、用户与会话 ID;C 存全文但脱敏、短保留、限制访问;D 全都永久保存。作者认为真正的问题不是记不记,而是留下什么、留多久、谁能看。不记的问题很实在:请求成功了、答案错了,唯一证据就是进出的两段文本,没有它既不能复现,也没法从真实流量里采样出评测集。而提示词里恰好是用户往里粘的各种不该留的东西,OWASP 把敏感信息泄露列为主要风险,GDPR 也要求存储限制。他的选择是 C,而且强调脱敏要在写入时做而不是读取时做,保留窗口按"你实际会调试多久"来定并自动删除,读取权限要收紧。
🔑 核心要点
- 大模型的失败不体现在状态码上,唯一证据就是进出的那段文本。
- 脱敏必须在写入时完成,读取时再脱敏等于原文已经躺在库里。
- 保留窗口按实际调试周期设定并自动执行,访问权限必须单独收紧。
💡 金句
“So the real question isn't "log or don't log". It's "what do you keep, for how long, and who can read it".”
译:所以真正的问题不是"记还是不记",而是"留下什么、留多久、谁能读"。
← 返回 dev.to 首页