dev.to | 📄 原文链接 | 2026-11-13 收录

把评测变成 CI 闸门:Agents CLI 的退出码方案

来源:dev.to — 2026-11-11

📋 概述

单元测试只能证明 agent 的代码跑得起来,改一行指令就可能让回答变差而测试照旧全绿。作者按 Google 智能体课程的思路,把评测接进合并前的检查:Agents CLI v1.13.0 的 eval run 与 eval grade 会在结尾输出 PASS 或 FAIL,并用 thresholds 或 --fail-under 设定可接受的最低均分。未达标退出码为 1,任一用例报错同样退出 1,于是 CI 只读退出码就能拦住坏版本。

🔑 核心要点

💡 金句

“Unit tests check that an agent's code runs, so a one-line change to its instruction can make its answers worse while the tests keep passing.”
译:单元测试只检查 agent 的代码能不能跑,所以改一行指令就能让回答变差,而测试依旧全绿。
← 返回 dev.to 首页