vllm：把大模型推理服务做得又快又省
来源：GitHub — 2026-10-21 · ⭐ 94,342 stars · 今日 +98 · Python
📋 概述
vLLM 起于伯克利 Sky Computing Lab，如今由两千多名贡献者、数十家学术机构与公司共同维护，是开源社区最活跃的推理与服务平台之一。性能来自一组具体机制：PagedAttention 管理注意力键值内存、连续批处理、分块预填充、前缀缓存，配合 CUDA/HIP 图与 FlashAttention、FlashInfer、FlashMLA 等优化内核，以及 FP8、MXFP4、NVFP4、INT4、GPTQ/AWQ、GGUF 等量化路径；解码侧有 n-gram、suffix、EAGLE、DFlash 等投机解码。工程上也够宽：张量、流水线、数据、专家、上下文并行与分离式 prefill/decode，多 LoRA、结构化输出、工具调用，OpenAI 兼容 API 之外还支持 Anthropic Messages API 与 gRPC。
🔑 核心要点
- 性能核心是 PagedAttention 的键值内存管理，叠加连续批处理、分块预填充与前缀缓存。
- 量化与内核选择很多：FP8、MXFP8/MXFP4、NVFP4、INT8/INT4、GPTQ/AWQ、GGUF，内核含 FlashAttention、FlashInfer、FlashMLA、Triton。
- 支持投机解码（n-gram、suffix、EAGLE、DFlash）与分离式 prefill/decode，分布式侧有张量、流水线、数据、专家、上下文并行。
- 接口不只 OpenAI 兼容，还提供 Anthropic Messages API 与 gRPC；硬件覆盖 NVIDIA、AMD、Intel GPU 及多种 CPU，支持 200 多个模型架构。
💡 金句
Easy, fast, and cheap LLM serving for everyone.
👍 0
👎 0
← 返回 GitHub Trending 首页