部署一个你的服务栈加载不了的 QAT 检查点：在单张 TPU 上用纯 JAX 跑 Gemma 4 E2B
来源：dev.to — 2026-08-20
📋 概述
作者在 Cloud TPU v6e-1（单芯片、32GB HBM）上尝试部署 Gemma 4 E2B 的 QAT（量化感知训练）检查点，结果陷入一种特殊的死胡同：每个组件都健康、每个版本都最新，但东西就是跑不起来——厂商发布的量化检查点与你所支持的服务栈互相不兼容。他原本以为问题出在量化上，最后发现有趣的部分与量化毫无关系，于是转向用纯 JAX 在单张 TPU 上推理部署。
🔑 核心要点
- 在 vllm/vllm-tpu:nightly 下用两种不同方式服务 QAT 变体，都以不同方式失败。
- 所有组件健康、所有版本最新，检查点与服务栈却互不加载——这是一种典型的死胡同。
- 最终方案是绕开量化瓶颈，改用纯 JAX 在单张 TPU 上完成 Gemma 4 E2B 的推理部署。
- 所有计时数据均实测于 2026-08-19 的 europe-west4-a 区域。
💡 金句
有一种特别的死胡同：每个组件都健康、每个版本都最新，可东西就是不行——厂商发布的量化检查点，和你支持的服务栈，加载不了彼此。
👍 0
👎 0
← 返回 dev.to 首页