dev.to | 📄 原文链接 | 2026-10-18 收录

别假定云上的 T4 跑在标称值:卡一热,Gemma 4 解码慢 7.4%

来源:dev.to — 2026-10-16

📋 概述

作者在 Google Cloud 的一台 n1-standard-2 上,用 vLLM 0.29.0 服务 4 比特的 Gemma 4 E2B,每 100 毫秒记录一次显卡的温度、频率、功耗与节流状态,并把每个请求和生成 token 那一刻的卡状态对齐。同一张卡、同一台机器、同一个模型、同一个提示:45°C 时解码 115.3 token/s,升到稳定 77°C 后掉到 106.8 token/s,慢 7.4%,且只要负载持续就一直慢。原因不是节流触发,而是这张卡全程顶在 70W 功耗墙——温度高的芯片同频要更多电,功耗墙于是把频率从约 1457MHz 拉到约 1267MHz。全流程的脚本、日志、数字都放在 GitHub 上,可复现。

🔑 核心要点

💡 金句

“A rented GPU is sold by name and by the hour.”
译:租来的 GPU 是按型号、按小时卖的。
← 返回 dev.to 首页