二手 8 GB RTX 3050 上跑 Gemma 4：单人 116 token/s，64 人合计 618

📋 概述

作者在一台 2014 年的 Haswell-E 台式机里插了一张二手 RTX 3050 OEM（eBay 上约 145 到 210 美元），把 Gemma 4 E2B 服务了起来：单人生成 116.14 token/s、读取提示 3860 token/s，64 个并发用户时合计 618 token/s，而模型完整的 131072 token 上下文只占 8 GB 显存里的 3.6 GB。同一个模型文件与同一套服务端参数在 GTX 1650 Ti 上是约 81.7 token/s，差距主要来自张量核心——读提示快了约 11 倍。文章逐项给出每个参数的测量依据：flash attention 提升 1.133 倍预填充与 1.071 倍解码；KV cache 换成 q8_0 会损失 7.4% 解码速度，所以保留 f16；per-layer 嵌入表被单独放到卡上。最后是一笔成本账：这张二手卡的价格，相当于按需租用 AWS T4 的 342 小时。