稠密 31B 塞进 8GB 显卡：RTX 3050 上的 Gemma 4 31B
来源：dev.to — 2026-10-20
📋 概述
17.7GB 的稠密 Gemma 4 31B 装不进 8GB 的 RTX 3050，llama.cpp 的做法是把能放下的层留在 GPU、其余 40 层（共 60 层）放到系统内存。结果是这张卡上能跑的最准的 Gemma 4：GSM8K 0.974、BFCL 0.960，全系最高；但生成只有 4.14 tok/s，1319 题的 GSM8K 要跑 21 小时 57 分，是 12B 的近 11 倍时间。上下文也只到 32,768 token，只有 26B 的四分之一。
🔑 核心要点
- 准确率领先 12B 1.2 分、领先 26B 0.8 分，两者都超出批次波动范围。
- 生成 4.14 tok/s 对 12B 的 55.1 tok/s，差 13 倍——这是批处理模型，不是对话模型。
- 上下文 32,768 token 是 26B 的四分之一，长会话在这个尺寸上最先失守。
- 整个系列的结论很清楚：同一个 8GB 预算，精度、上下文与速度三者只能取二。
💡 金句
“The 31B is the most accurate Gemma 4 that serves on this card, and the slowest.”
译：31B 是这张卡上能跑的最准的 Gemma 4，也是最慢的一个。
← 返回 dev.to 首页