QAT 的 12B 能塞进 8GB 显卡吗：RTX 3050 上的 Gemma 4 12B 实测
来源：dev.to — 2026-10-18
📋 概述
能，而且全部层都能放在卡上。作者把 Google 的 Gemma 4 12B（量化感知训练版）GGUF 按它训练时的网格精确重建成 Q4_0，文件从 6.98GB 降到 6.72GB，在 8GB 的 RTX 3050 上上下文能开到 40960 token，而 Google 原版只能到 28672。再把 Google 的 12B drafter 用同样方式重建，配合 llama.cpp 做投机解码，生成速度翻倍到 56 tok/s。如果把 KV cache 也压到 4 位，同一个 drafter 配置能撑到 81920 token，而答案保持一致。这是他 Gemma 4 小显卡系列的第三篇，前两篇讲 drafter 原理和 E2B/E4B 实测，这一篇给了八步可复现流程，第一步就是「下载之前先算 context cache 有多大」。
🔑 核心要点
- Q4_0 精确重建：6.98GB → 6.72GB，尺寸差的就是能不能全层上卡。
- 上下文从 28672 提到 40960 token，全层 GPU，不是部分 offload。
- 投机解码把生成速度推到 56 tok/s，drafter 用同样方式重建。
- KV cache 降到 4 位可撑到 81920 token，答案不变。
- 先算 context cache 再下载——顺序错了会白下几个 GB。
💡 金句
Can a QAT 12B fit an 8 GB GPU? Yes, with every layer on the card and room for a working context.
译：量化感知训练的 12B 能塞进 8GB 显卡吗？能，每一层都在卡上，还留得下能用的上下文。
← 返回 dev.to 首页