MLH 用自研的开源评测器 benchspec 给编码 Agent 打分:把「Agent 本该完成什么」写成 markdown 里的自然语言断言,在沙箱里跑一次、再跑一次带着被测技能的,差值才是这个技能真正教会的东西。检查项有两种验法——「廉价代码」验证(路径是否存在、glob 命中几个、行内是否匹配正则)免费且精确,或者交给 LLM 裁判读语义、每次都要花钱;两者之间由路由器分类,逐条决定交给确定性检查器还是转交裁判,所以它的失误多半不是能力问题而是分类问题。作者把当红的决策模型 Jev 和几乎没人讨论的 Gemini Flash-Lite 放在自己的生产数据上各跑几千次对照,披露了实测数据:Jev 能做到零失误,但生产上仍在用 Flash-Lite,并解释了为什么这一对搭配反而是全场最便宜的方案——成本结构跟「只追最强模型」的直觉并不一致。