ClickBench 移除 pgrust:给 43 条查询各写一个内核,还把结果缓存下来
来源:github.com — 2026-09-22
📋 概述
ClickHouse 的 Alexey Milovidov 提交 PR 把 pgrust 从 ClickBench 榜单里删除,理由是它在作弊:性能数字来自专为这 43 条基准查询手写的机制,而且所谓「热跑」实际在重放上一轮缓存的答案。作者逐条给了证据——aarch64 发布二进制里嵌着 q00.rs 到 tpch_q01.rs 的源码路径,报错信息直接写着 clickbench 与 tpch 的查询形状,环境变量叫 PGRUST_GRAVITY_Q20_VARIANT;公开的 v0.3 源码里还有一份「为全部 43 条查询手工降级的物理计划」。这违反了榜单规则,该条目却仍标着 tuned: no。
🔑 核心要点
两类违规:为每条基准查询写专用内核(等于针对考题定制引擎),以及热跑重放缓存结果。
证据链完整:二进制内嵌 q00.rs…tpch_q01.rs 路径、按查询命名的拒绝消息、专属环境变量。
v0.3 公开源码里 clickbench.ron 自称「为全部 43 条 ClickBench 查询手工降级的物理计划」,SQL 用 include_str! 编进执行器。
部分查询根本不扫表:Q19 的答案由谓词常量重建,Q29 是 SUM(x+k)=SUM(x)+k*COUNT 的代数改写后走元数据回答。
💡 金句
The results it reports are produced by machinery written specifically for the 43 ClickBench queries, and its hot runs replay cached answers of the previous run.
👍 0
❤️ 点赞
👎 0
沉底
← 返回 Hacker News 首页