dev.to | 📄 原文链接 | 2026-10-26 收录

测试挂了三次,三次都是模型对我错

来源:dev.to — 2026-10-25

📋 概述

作者在给代理安全工具 agentwatch 做现场测试时,三次遇到检测器看起来误判,第一反应都是代码坏了要去修代码;三次查下来都是他写的测试场景站不住。第一次他以为检索知识库和重置密码无关,模型的说明里指出重置流程本身就在知识库里,那一步正是流程的一部分。把场景改成删库这种毫无关联的动作后,模型立刻正确判为漂移。结论是当被测对象的知识面比写场景的人更宽时,角色会互换:模型成了裁判,测试才是嫌疑人。

🔑 核心要点

💡 金句

“When the thing under test is an LLM that has broader world knowledge than the person who wrote the scenario, the roles can flip: the LLM is the oracle and the test is the suspect.”
译:当被测对象是一个知识面比写场景的人更宽的模型时,角色会互换:模型成了裁判,测试成了嫌疑人。
← 返回 dev.to 首页