dev.to | 📄 原文链接 | 2026-10-13 收录

通过评测仍然没有告诉你的事

来源:dev.to — 2026-10-11

📋 概述

在给代理开放生产系统之前,要先问清它的评测到底授权了什么:开一个 PR、合并它、跑一次数据库迁移,哪怕用同一个模型和同一个底层系统,所需的证据级别也完全不同。评测只建立起「在被测条件下」的某个结论,问题出在把这个结论当成条件之外的证据使用,于是代理通过了评测,却获准执行那些相关失败模式从未被测过的动作。作者举了一个很具体的迁移例子:评测环境里迁移产出了预期的行、检查全部通过;但部署后的工作流可能在数据库提交之后、代理收到确认之前就断掉连接,代理看到的是工具调用失败,而数据库其实已经变了。此时重试会插入重复数据,假设成功则会在「提交前断连」时跳过必要的工作。这是经典的分布式系统问题——加入模型只是多了一个决策者,并没有消除「确认外部系统到底发生了什么」的需要,更好的提示词也变不出系统本身没有的信息。所以更有用的问法不是「我们能信任这个代理吗」,而是「这套配置是否应该被允许用这些权限执行这个操作」。

🔑 核心要点

💡 金句

更好的提示词无法提供系统本身并不拥有的信息。
← 返回 dev.to 首页