一张 T4 跑六种引擎：Gemma 4 E2B 在图灵卡上的横评
来源：dev.to — 2026-11-11
📋 概述
作者在单张 16GB Tesla T4（图灵架构、不支持 bf16）上，用同一份 4bit Gemma 4 E2B 权重分别跑 llama.cpp、vLLM、SGLang、mistral.rs、纯 PyTorch 和 LiteRT-LM，提示词、1 到 64 并发的负载扫描、1319 道 GSM8K 与 400 道 BFCL 全部统一。五个 CUDA 引擎的 GSM8K 落在 0.8954 到 0.9030，BFCL 落在 0.9175 到 0.9250，与各自在 L4 上的成绩持平；LiteRT-LM 是例外，低了 0.0174。有负载时 vLLM 全程领先，64 并发达到每秒 1165.5 个 token。
🔑 核心要点
- 单请求不带草稿时，五个引擎在每秒 97.8 到 113.5 个 token 之间，mistral.rs 最快。
- 草稿模型决定排序：vLLM 用 3 个草稿 token 冲到 193.0，是自己不带草稿时的一点七八倍。
- llama.cpp 靠草稿涨了一点一八倍，SGLang 反而掉到零点七二倍，mistral.rs 的草稿在这张卡上跑不起来。
- SGLang 要靠借用 vLLM 图灵内核的补丁才能服务这个 4bit 检查点。
💡 金句
“Under load vLLM leads at every level.”
译：有负载时，vLLM 在每一个档位上都领先。
👍 0
👎 0
← 返回 dev.to 首页