作者在小模型评测里看到一张已经读过三遍的表：提示大小中位数 97 token、最大 112。可那个问答工作流每次都要带四份参考文档，文档本身有 447 个词——447 个词不可能只有 97 个 token。他把这个数字当成「上下文余量充足」写进了报告，实际上它是框架在唯一能说话的字段里告诉他：参考资料根本没进提示。那个放着文档的目录从未提交进仓库，十五道题全都是在空参考资料上问的。更糟的是两边模型都表现得很体面：一个被要求材料里没有就回答 NOT IN THE MATERIAL，它十五次里答了十三次；另一个没有这条指令，于是从训练记忆里编了一款葡萄酒。每次调用都返回 200，评分器照常打分，分数内部一致、两边失败模式还各不相同，他据此写了两千七百字讨论小模型的能力。
🔑 核心要点
破绽在数字里：447 个词的文档不可能只占 97 个 token。
根因很平凡：参考文档目录从未提交进仓库，十五道题全在空材料上跑。
两种体面的失败：一个老实答「材料里没有」，另一个从记忆里编了一款酒。
最危险的是全绿：每次调用返回 200，评分器照常打分，分数内部还一致。
五个缺陷的来源：全是读输出发现的，没有一个是读代码发现的。
💡 金句
Four hundred and forty-seven words cannot be ninety-seven tokens. 译：447 个词不可能只占 97 个 token。