dev.to | 📄 原文链接 | 2026-11-10 收录

一张 8GB 显卡跑六个推理引擎：Gemma 4 E2B 在 RTX 3050 上的实测

来源：dev.to — 2026-11-08

📋 概述

llama.cpp、vLLM、SGLang、mistral.rs、纯 PyTorch 和 LiteRT-LM 在同一张 8GB RTX 3050 上服务同一份 4bit Gemma 4 E2B，用相同提示、1 到 64 请求的负载扫描、1319 道 GSM8K 与 400 道 BFCL 对比。答案是质量几乎不变（GSM8K 落在 0.8992 到 0.9030），差距全在吞吐：单请求时五个引擎相差 12% 以内，64 并发时 vLLM 1651、SGLang 1711 token/s，而 llama.cpp 只有 633、mistral.rs 308。

🔑 核心要点

GSM8K 上每对引擎的差值都落在重复运行波动范围内，换引擎不是提升正确率的手段。
draft 模型改变排序：vLLM 拿 1.90 倍、llama.cpp 1.35 倍，却把 mistral.rs 拖到 0.72 倍。
llama.cpp 吃不满剩下的显存：全部表放进 GPU、加大批量，用 4.3GB 只跑到 2.6GB 配置的 0.996 到 1.024 倍。

💡 金句

“Answer quality barely moves between engines.”
译：引擎之间的答案质量几乎不动。

← 返回 dev.to 首页