两台 DGX Station 拼起来，GLM-5.3 跑到 607.8 token/秒
来源：developer.nvidia.com — 2026-11-13
📋 概述
NVIDIA 博客给出一份实测：GLM-5.3 的 NVFP4 量化版是 7530 亿参数的 MoE，每 token 激活 400 亿，权重约需 464GB 显存，超过单张 GB300 的 252GB HBM3e。于是用两台 DGX Station 经 ConnectX-8 RDMA 互联，以张量并行 TP=2 把权重对半分，vLLM 起一个分布式服务，对外仍是单个 OpenAI 兼容端点，同时开多 token 预测、FP8 KV cache 与前缀缓存。在 SPEED-Bench Coding 数据集上，输出吞吐在并发 16 时达到峰值 607.8 token/秒，并发升到 32 时回落到 385.0 token/秒，平均请求延迟 453.5 秒。
🔑 核心要点
- 模型 753B 参数、每 token 激活 40B，NVFP4 权重需约 464GB，单卡 GB300 的 252GB 装不下。
- 两台 DGX Station 走 ConnectX-8 RDMA，TP=2 各持一半权重，vLLM 对外只暴露一个端点。
- 吞吐在并发 16 时峰值 607.8 token/秒，并发 32 反而降到 385.0，延迟升至 453.5 秒。
- 多 token 预测、FP8 KV cache 与前缀缓存三项叠加，才把并发下的吞吐撑起来。
💡 金句
Running a frontier-scale model locally means keeping all its weights in GPU memory; the largest models no longer fit on one machine.
👍 0
👎 0
← 返回 Hacker News 首页