四块加速卡上的六种推理引擎：Gemma 4 E2B 横评

📋 概述

作者把同一个 Gemma 4 E2B 分别放到 8GB 的 RTX 3050、Tesla T4、NVIDIA L4 和一颗 TPU v5e 上，用相同的提示、相同的 1 到 64 并发扫描、相同的 1319 道 GSM8K 与 400 道 BFCL 题跑六种推理引擎。结论是答案质量几乎不随芯片变化，15 组 GSM8K 分数落在 0.8954 到 0.9030 之间；速度则完全由芯片决定，GPU 上 vLLM 配投机解码领先，TPU 上 SGLang-JAX 胜出。