我卖记忆 API，又在做这个评测基准：如何避免自己作弊
来源：dev.to — 2026-09-13
📋 概述
在记忆 API 公司 Wontopos 工作的作者，因为社区抱怨厂商发布的数据互相对不上、换掉打分模型就能改变结论，决定建一个公开基准。他把限制写进仓库而不是口头承诺：自家提交走同样的审批流程且不自行合并、谁入选由规则决定、新版发布前十四天不发表任何结果、全部 Apache 2.0 可被搬走。语料是一段约 17 个月的人际对话，103572 轮、1991 个会话、约 190 万 token，并专门设计了过期事实、矛盾、表面矛盾与拒答四类轴。
🔑 核心要点
- 合规条款写死：自家提交不自行合并，谁入选由规则而非公司决定。
- 新版本发布前十四天公司不发表任何结果，且全部代码 Apache 2.0 可被搬走。
- 语料为一段约 17 个月的对话，103572 轮、1991 个会话、约 190 万 token。
- 答案所在轮次在四种规模下逐字一致，变化的只有周围无关对话的量。
- 过期事实分三档计分：「不知道」得 0.5，把旧值当现值的回答得 0。
💡 金句
把「我不知道」和「自信地给出过期答案」放进同一个桶里，就正好掩盖了生产环境里真正会伤人的那件事。
👍 0
👎 0
← 返回 dev.to 首页