实测 Qwen3.8 27B 各档量化：4-bit 几乎无损，压到 1-bit 能力彻底崩塌

📋 概述

作者在 Modal GPU 上花掉约三千美元，用 llama.cpp 对 Qwen3.8 27B 的 8-bit、4-bit、2-bit、1-bit 四档 GGUF 量化版逐一跑 GPQA Diamond、IFBench、Terminal-Bench 2.1 等主流基准，检验压缩到底牺牲多少真实解题能力。结果发现 17GB 的 4-bit Q4_K_M 在智能体编码基准上几乎追平完整的 55GB BF16 模型，能塞进 24GB 显卡并留出约 6.4 万 token 上下文；但压缩存在悬崖——1-bit 模型在 GPQA Diamond 上表现接近瞎猜，且推理越长反而越差。