演示里你让模型顺带返回一个置信度,它说 0.93,你写下 if confidence > 0.9: auto_approve() 就走了。生产里那个数字只是更多生成的文本:没人拿它跟真实结果对过,它看起来像概率、格式像概率,你的代码也把它当概率用——这就是虚假精度变成自动化风险的过程。作者的判据很简单:只有当系统说「大约 90%」的那批样本里真的有约 90% 是对的,这个数才配叫置信度。文章拆了三种失败:阈值从未被单独检验(高置信桶并不比低置信桶准,模型几乎对所有东西都给 0.9 以上);一个准确率掩盖了两个系统(能转人工的系统要同时看覆盖率与选择性准确率);全局阈值在平均上校准、在真正重要的切片上完全失准,按语言切分后英语工单 95%,希腊语和德语远低于此。