在 2021 年笔记本的 4GB 显卡上跑到 70+ token/s：Gemma 4 现场演示
来源：dev.to — 2026-10-02
📋 概述
文章一步步演示如何在一台 2021 年的联想 Yoga 9（4GB 显存的 GTX 1650 Ti Max-Q）上本地运行 Gemma 4 E2B，回答以 70+ token/s 流式返回，全程不联网。关键在模型文件：Gemma 4 E2B 的 bf16 权重有 9.5 GiB，远超这块卡的 4 GiB，而作者把 Google 量化感知训练（QAT）的权重精确重打包成 1488 MiB 的 GGUF，解码达 76 tok/s，比 Google 官方 GGUF 在同一张卡上快 1.12 倍，也更接近 bf16 精度。演示围绕响应性展开：短答首个词不到半秒上屏，长答的流式速度超出人的阅读速度。文章先讲演示步骤，再解释重打包。
🔑 核心要点
- 硬件是一台 2021 年的 Yoga 9：GTX 1650 Ti Max-Q、4 GiB 显存、40W 功耗上限、没有张量核心。
- Gemma 4 E2B 的 bf16 权重 9.5 GiB，重打包后的 QAT 文件只需 1488 MiB 就能服务。
- 解码速度 76 tok/s，比 Google 自家 GGUF 在同一张卡上快 1.12 倍。
- 提速的关键不是重新量化，而是把 QAT 训练好的 4-bit 值原样精确打包进文件，不做二次取整。
- 目标是响应性：短答首词半秒内出现，长答的流式速度比人读得还快。
💡 金句
QAT 让模型能在 4-bit 网格上生存，因此足够小；把训练好的 4-bit 值原样精确打包，则让它比原版转换更快也更准。
👍 0
👎 0
← 返回 dev.to 首页