26B 的 MoE 能塞进 8GB 显卡吗：RTX 3050 上的 Gemma 4 26B A4B
来源：dev.to — 2026-10-19
📋 概述
14.4GB 的 Gemma 4 26B A4B 装不进 8GB 的 RTX 3050，但 llama.cpp 可以把 30 个专家层的 21 层放系统内存、其余留在卡上，于是它能跑起来：131,072 token 上下文，空载 33.7 tok/s，GSM8K 与 BFCL 分数与 12B 基本持平。作者给出实测表格：模型 12,251MiB 是专家权重（每层 408MiB），1,505MiB 是注意力、归一化与路由；代价是速度只有 12B 的 0.61 到 0.74 倍，1319 题的 GSM8K 从 1 小时 57 分变成 3 小时 26 分。
🔑 核心要点
- MoE 的结构是关键：每层 128 个专家、每个 token 只路由 8 个，才能把大部分参数放到内存里跑。
- 上下文是 12B 的 1.6 倍（131,072 对 81,920），分数几乎相同。
- 生成速度 33.7 tok/s，是 12B 的 0.61 到 0.74 倍，换取两倍的模型体量。
- 这是该系列的第五篇，前四篇分别讲投机解码 drafter、小模型上的 drafter、12B 上卡与 12B 的长上下文缓存。
💡 金句
“The 26B holds 1.6x the 12B's context and scores the same, at 0.61x to 0.74x the 12B's generation speed.”
译：26B 拿到了 12B 1.6 倍的上下文、同样的分数，代价是 0.61 到 0.74 倍的生成速度。
← 返回 dev.to 首页