dev.to | 📄 原文链接 | 2026-10-11 收录

在 AMD MI300X 上 VLLM_ROCM_USE_AITER=1 反而拖慢 Gemma 4:这个开关到底改了什么

来源:dev.to — 2026-10-10

📋 概述

一份可复现的实测:在单张 AMD Instinct MI300X 上用 vLLM 服务 Gemma 4 12B fp8 时,加上 `VLLM_ROCM_USE_AITER=1` 反而让全部九个测试格都变慢,幅度 0.6% 到 2.6%(比值 0.974×–0.994×,中位数 0.981×),重复测量波动不超过 0.78%,所以差距大于噪声。启动日志解释了原因:AITER 是 AMD 为 Instinct 卡调优的 GPU 内核库,通常是 vLLM 提速的第一选择;但 Gemma 4 的注意力层是滑窗 256 宽与全注意力 512 宽混合的头维度,vLLM 只能强制使用 TRITON_ATTN,开不开这个 flag 注意力走的都是同一份代码,AITER 最该发力的地方根本没被替换。真正切到 AITER 的是 fp8 矩阵乘,而日志里有 924 条「未找到该形状的调优配置,将使用默认配置」——模型六种权重形状、从 1 到 262144 共 77 种 token 数,在两张 fp8 调优表里都没有命中。作者建议先读启动日志再决定是否开这个开关。

🔑 核心要点

💡 金句

同一台 droplet、同一天、同一个镜像,开启 VLLM_ROCM_USE_AITER=1 让 Gemma 4 12B 在每一个测试格都更慢,慢了 0.6% 到 2.6%。
← 返回 dev.to 首页