我们越来越常让 AI 帮忙判断别的 AI 够不够好，但作者追问：当我们修改一份评测时，是在发现更好的质量定义，还是在习惯模型恰好会产出的东西？假设一个编码 agent 修好了 bug 却顺手重写了无关模块，只评审正确性与可读性的裁判会放行，而工程师要多花时间处理冲突。这个成本可能被写进评测，也可能因为见多了而渐渐不算数。已有研究把这种人类标准的漂移称为标准漂移。
🔑 核心要点
反馈在塑形模型，模型的输出也在塑形我们愿意接受的标准。
分数上涨既可能是活干得更好了，也可能只是尺子变了。
有研究观察到参与者在看输出时不断加要求、重新解释已有要求。
另一项研究表明，给不给模型建议会改变人标注的结果。
💡 金句
“when we revise an eval, are we discovering a better definition of quality, or getting used to what the model happens to produce?” 译：当我们修改评测时，是在发现更好的质量定义，还是在习惯模型恰好产出的东西？