Gemma 4 的 MTP 草稿模型解析：投机解码，与一个只有六成体积的 4 比特版本

📋 概述

模型一次前向传播只写一个 token，而每一遍都要把所有权重读一遍：在小 GPU 上为单个用户服务时，算力很轻、显存流量很重，于是每一步都留下闲置算力。投机解码就是来用这份余量的：小模型先猜接下来几个 token，主模型（目标模型）一次前向并行校验这些猜测，从头接受直到第一个不同意的位置，丢弃其余并在该点补一个自己的 token，所以每一步至少产出一个 token，最多产出「草稿数加一」。Gemma 4 的草稿模型与经典做法不同，不是同族小模型，而是目标模型的附加件——Google 称之为多 token 预测，一个 4 层轻量模型，直接读取目标模型的激活与 KV cache（E2B 是 1536 宽隐藏状态，草稿本身只有 256 宽、词表与目标相同），因此它不保留独立的会话缓存，显存成本基本只有权重。作者给出 Google QAT 草稿模型的精确 Q4_0 重打包版，文件从 97.8 MB 缩到 59.2 MB。