单块 TPU v5e 上跑 Gemma 4 QAT：什么能跑，什么跑不了
来源：dev.to — 2026-10-02
📋 概述
文章给出把 Google 量化感知训练（QAT）的 Gemma 4 权重重打包为 vLLM 可服务的 int4/int8 格式、跑在单块 Google Cloud TPU v5e 上的完整步骤，并对分类、数学、工具调用、吞吐与长提示逐项打分。单块 v5e 只有 15.75 GiB HBM，而 E4B 的 bf16 重 14.9 GiB、12B 重 22.4 GiB，所以 E2B 以上都必须用 4-bit 或 8-bit。重打包后的 QAT 构建能服务 E2B 到 26B 的全系尺寸：12B 及以下在 3880 条分类集上与 bf16 打平，同速下比 Google 官方 4-bit 导出最多高 2.4 分；12B 是这块芯片上最大的可用模型，675 输出 token/s，GSM8K 0.964、BFCL 工具调用 0.955。
🔑 核心要点
- 单块 v5e 只有 15.75 GiB HBM：E4B 的 bf16 要 14.9 GiB、12B 要 22.4 GiB，E2B 以上必须量化。
- 重打包的含义是 把已经落在 16 级网格上的 QAT 值按原样存进 vLLM 可服务的格式，不重新取整。
- 提供 q4w4a16、q4w4a16emb4、w8a8、w8a8emb4 四种构建；v5e 原生做 int8×int8，因此 int8 版本最快。
- 12B 是这块芯片的上限：11.31 GiB 权重、675 输出 token/s、GSM8K 0.964、BFCL 0.955。
- 跑不了的三件事：E2B 以上的 bf16、任何构建下的 31B、以及 26B 超过 2176 token 的上下文。
💡 金句
在单块 v5e 芯片上，重打包后的 QAT 构建能服务从 E2B 到 26B 的每一个 Gemma 4 尺寸。
👍 0
👎 0
← 返回 dev.to 首页