4 GB 笔记本显卡跑 Gemma 4，解码速度是 12 核 CPU 的 4.3 倍
来源：dev.to — 2026-09-16
📋 概述
同一台笔记本、同一份 GGUF、同一个二进制、同一批提示词，只差一个 `-ngl` 参数：CPU 用 i7-1360P，GPU 用 2021 年的 4 GB GTX 1650 Ti Max-Q。结果是显卡解码快 4.3 倍、首 token 延迟快约 3.6 倍，显存只占 1598 MiB。文章给出四种输入长度乘两种输出长度、各三次重复的完整数据，并强调两臂载荷逐字节相同。
🔑 核心要点
- 唯一变量是一个标志位：`-ngl 0` 对 `-ngl 99`，其余命令行与模型完全一致。
- 这块卡没有 tensor cores，依然拿到 4.3 倍解码与约 3.6 倍 TTFT。
- 长上下文（1959 token 输入）下 CPU 首 token 要 11.7 秒，GPU 只要 3.2 秒。
- 解码速度取自客户端 SSE 流上的 token 间隔，是两臂唯一可比的解码指标。
💡 金句
两臂的载荷逐字节相同，命令行只差一个标志，而这块卡把解码速度拉开到 4.3 倍。
👍 0
👎 0
← 返回 dev.to 首页