Hacker News | 📄 原文链接 | 2026-10-01 收录

用长期基准盯住模型是否悄悄变差:livenerf 追踪 Opus 5.5

来源:github.com — 807 分 · by bryan0

📋 概述

livenerf 是一个小而无聊、只做追加的 benchmark,只回答一个问题:模型发布之后会不会悄悄变差。几个月来一直有人宣称 Anthropic 会在发布数日或数周后对模型动刀——可能是量化、可能是同名换小模型、可能是降低推理强度或路由变更,也可能什么都没发生、只是人们在噪声里找规律。问题在于从来没有人有干净的 day-0 基线,争论最后都变成感觉对感觉。Claude Opus 5.5 于 2026 年 9 月 22 日发布,作者决定从发布当天开始计时并长期跑下去。方法上无法让模型确定性,就冻结提示词、钉死 CLI、固定评分器、永久保留原始日志,再靠数千个样本统计漂移。

🔑 核心要点

💡 金句

让模型变得确定是不可能的,所以 livenerf 让其他一切都变得确定。
← 返回 Hacker News 首页