Lobsters | 原文链接 | 2026-08-28 收录

当 GPU 读取内存时会发生什么:一次 RTX 4090 的硬件级追踪

来源: blog.doubleword.ai — 2026

概述

作者延续上一篇文章对 vector-add 内核的分析,这次追踪关键 SASS 指令(一次全局加载)经过硬件的完整路径——在作者桌下的 RTX 4090 上做计时实验反推。NVIDIA 对这条路径的细节很少文档化。文章以 c[i]=a[i]+b[i] 的内核为例,展示编译出的 IMAD.WIDE 与 LDG.E 指令如何从全局内存取数到寄存器。一次 LDG.E 在 32 条通道上各要四个字节,服务它需要四个 32 字节扇区、一条缓存行、一次地址翻译、一次跨 bar 跨越以及三十六个 L2 slice 中的一个参与。

核心要点

金句

这些细节 NVIDIA 很少文档化,所以我们亲自在硬件上计时验证。
返回 Lobsters 首页