用长期基准盯住模型是否悄悄变差:livenerf 追踪 Opus 5.5
来源:github.com — 807 分 · by bryan0
📋 概述
livenerf 是一个小而无聊、只做追加的 benchmark,只回答一个问题:模型发布之后会不会悄悄变差。几个月来一直有人宣称 Anthropic 会在发布数日或数周后对模型动刀——可能是量化、可能是同名换小模型、可能是降低推理强度或路由变更,也可能什么都没发生、只是人们在噪声里找规律。问题在于从来没有人有干净的 day-0 基线,争论最后都变成感觉对感觉。Claude Opus 5.5 于 2026 年 9 月 22 日发布,作者决定从发布当天开始计时并长期跑下去。方法上无法让模型确定性,就冻结提示词、钉死 CLI、固定评分器、永久保留原始日志,再靠数千个样本统计漂移。
🔑 核心要点
- 只问一个问题:模型上线之后会不会悄悄变差。
- “阉割”的可能形态包括量化、同名换小模型、降低推理强度或路由变更。
- 此前争论无解的原因是没有人拥有干净的 day-0 基线。
- Opus 5.5 于 2026 年 9 月 22 日发布,从发布当天开始计时。
- 既然模型无法确定性,就冻结提示词、钉死 CLI、固定评分器、永久保留原始日志,再统计漂移。
💡 金句
让模型变得确定是不可能的,所以 livenerf 让其他一切都变得确定。
👍 0
👎 0
← 返回 Hacker News 首页