dev.to | 📄 原文链接 | 2026-10-14 收录

一块 TPU v5e 上,小开源模型谁能追上 Gemma 4 E2B

来源:dev.to — 2026-10-13

📋 概述

这是一份实操指南:在单块 Google Cloud TPU v5e 芯片上,用 vLLM 依次部署 14 个 Apache-2.0 或 MIT 许可的小型开源模型,以 Gemma 4 E2B 为基线,在 GSM8K 与 BFCL 上打分。v5litepod-1 是最便宜的 TPU,15.75GiB HBM 里 vLLM 拿走 0.9 的比例,bf16 模型只剩约 14GiB 留给 KV cache,这直接把候选压到 4B 参数左右;筛选脚本会读取每个候选的许可证、架构与权重体积来判断能否装下,Qwen2.5-3B 因许可证被排除、Qwen3-8B 因显存被排除。结论是:Qwen3-4B 在两项准确率测试上追平 Gemma,输出只有它的 0.57 倍;SmolLM3-3B 与 Granite 3.3 2B 在工具调用上追平,输出分别是 0.76 和 0.93 倍;而在长提示词下,Gemma 仍然领先所有同准确率的模型。

🔑 核心要点

💡 金句

问题是哪一个更朴素的模型能替代它——答案取决于你更在意准确率、输出量,还是工具调用。
← 返回 dev.to 首页