别假定云上的 T4 跑在标称值:卡一热,Gemma 4 解码慢 7.4%
来源:dev.to — 2026-10-16
📋 概述
作者在 Google Cloud 的一台 n1-standard-2 上,用 vLLM 0.29.0 服务 4 比特的 Gemma 4 E2B,每 100 毫秒记录一次显卡的温度、频率、功耗与节流状态,并把每个请求和生成 token 那一刻的卡状态对齐。同一张卡、同一台机器、同一个模型、同一个提示:45°C 时解码 115.3 token/s,升到稳定 77°C 后掉到 106.8 token/s,慢 7.4%,且只要负载持续就一直慢。原因不是节流触发,而是这张卡全程顶在 70W 功耗墙——温度高的芯片同频要更多电,功耗墙于是把频率从约 1457MHz 拉到约 1267MHz。全流程的脚本、日志、数字都放在 GitHub 上,可复现。
🔑 核心要点
- 结论一句话:同一个请求,45°C 和 77°C 之间差 7.4%,而且不会自己恢复。
- 真正的机制是功耗墙而不是节流:温度上来后同频更费电,70W 上限只能压频率。
- 方法上最值钱的是每 100 毫秒采样,并把请求与采样时刻对齐,否则你只会看到平均噪声。
- 实践含义有三条:持续负载的真实速度、短基准的高估幅度、背靠背 A/B 是否公平。
💡 金句
“A rented GPU is sold by name and by the hour.”
译:租来的 GPU 是按型号、按小时卖的。
👍 0
👎 0
← 返回 dev.to 首页