精度换速度：Gemma 4 E2B 从 BF16 量化到 Q2_K 的实测

📋 概述

作者在一张 Tesla T4 上用 llama.cpp 把 Gemma 4 E2B 量化成九级 GGUF，每一级都回答同样的 250 道 GSM8K 数学题，温度固定为 0，让每个回答都是模型唯一的最高概率答案；BF16 当基准，凡是与基准答案不同的题目都被埋到它第一次出错的那一级，做成一座「墓地」。结果是：BF16 答对 229 题，Q8_0、Q6_K、Q5_K_M 与基准相差不超过 2 题，Q4_K_M 和 Q4_0 分别丢 5 题和 7 题，Q3_K_M 掉 38 题（只对 191 题），Q2_K 只剩 3 题答对。有趣的是，F16 到 Q4_0 之间死掉的 23 道题里，有 16 道在更低的量化级上又活了回来；开启 thinking 后，Q3_K_M 从 191 分爬回 208 分。作者强调，只看分数会掩盖构成：Q4_0 净丢 7 题，其实是丢了 15 题又捡回 8 题。