dev.to | 📄 原文链接 | 2026-11-10 收录

一张云 TPU v5e 芯片跑六个推理引擎：谁开箱能用，谁最快

来源：dev.to — 2026-11-09

📋 概述

vLLM、SGLang-JAX、纯 JAX、跑在 PJRT 上的 Rust 模型、TorchTPU 的 Python 与 Rust 版本，在同一颗 v5litepod-1 上服务 Gemma 4 E2B，用同样六个对话提示、1 到 64 请求的负载扫描和 1319 道 GSM8K 对比。质量持平（0.8969 到 0.9143）；单请求时 SGLang-JAX 以 159.9 token/s 领先；64 并发下 SGLang-JAX 到 4249 token/s，是 vLLM 1689 的 2.52 倍。但开箱即用、带工具调用和 int4 权重的是 vLLM。

🔑 核心要点

每个引擎独占一台同型号同区域的 v5e-1 跑测，任务结束自动删机器，避免互相干扰。
SGLang-JAX 需要打一个 E2B 补丁才跑得起来，速度优势建立在补丁之上。
TorchTPU 单请求只有 6.6（Python）和 13.4（Rust）token/s，是差距最大的两个。

💡 金句

“vLLM is the engine that serves Gemma 4 E2B on a v5e-1 as shipped. SGLang-JAX is the fastest, once patched.”
译：vLLM 是开箱就能在 v5e-1 上服务 Gemma 4 E2B 的引擎；SGLang-JAX 打完补丁后最快。

← 返回 dev.to 首页