19.5GB 的模型跑在 24GB 显存上为什么还是慢
来源：dev.to — 2026-11-14
📋 概述
在 Hugging Face 上找到的编码模型 GGUF 大约 19.5GB，显存 24GB，看起来装得下，可接进 Cursor 或 Cline 后生成慢到没法用，多半是有些层被分到 CPU 上跑了。作者指出多数人漏算的是 KV 缓存：真实显存需求等于权重加 KV 缓存加计算缓冲加运行时开销。他先用 ollama ps 看 PROCESSOR 列的百分比判断有没有 CPU 卸载，再给出按层数、KV 头数、头维度、上下文长度和每元素字节数估算 KV 缓存的公式。
🔑 核心要点
- 真实占用等于模型权重、KV 缓存、计算缓冲与运行时开销之和，GGUF 大小只是第一项。
- ollama ps 显示 82%/18% CPU/GPU 意味着部分层被分配到 CPU 执行。
- 以 Qwen2.5-Coder-32B 为例，64 层、8 个 KV 头、每头 128 维，可按精度逐档算出 KV 缓存体积。
- 推理变慢还可能来自提示处理、内存带宽、量化和运行时配置，KV 缓存只是其中一个原因。
💡 金句
“You may have overlooked one of the biggest memory consumers in local LLM inference: the KV cache.”
译：你可能漏掉了本地 LLM 推理中最大的内存消费者之一：KV 缓存。
👍 0
👎 0
← 返回 dev.to 首页