单元测试只能证明 agent 的代码跑得起来,改一行指令就可能让回答变差而测试照旧全绿。作者按 Google 智能体课程的思路,把评测接进合并前的检查:Agents CLI v1.13.0 的 eval run 与 eval grade 会在结尾输出 PASS 或 FAIL,并用 thresholds 或 --fail-under 设定可接受的最低均分。未达标退出码为 1,任一用例报错同样退出 1,于是 CI 只读退出码就能拦住坏版本。
🔑 核心要点
评测的对象是回答与工具调用,而不是代码本身。
阈值既写在配置里,也能用命令行参数对单次运行覆盖。
用例报错也算失败,避免评测自己坏掉却意外通过。
不需要插件或日志解析,GitHub Actions 认非零退出码即判失败。
💡 金句
“Unit tests check that an agent's code runs, so a one-line change to its instruction can make its answers worse while the tests keep passing.” 译:单元测试只检查 agent 的代码能不能跑,所以改一行指令就能让回答变差,而测试依旧全绿。