vllm：把大模型推理服务做得又快又省
来源：GitHub — 2026-10-22 · ⭐ 94,763 stars · Python
📋 概述
vLLM 起于伯克利 Sky Computing Lab，如今由两千多名贡献者共同维护，是开源社区最活跃的推理与服务平台之一。性能来自一组具体机制：PagedAttention 管理注意力键值内存、连续批处理、分块预填充、前缀缓存，配合 FlashAttention、FlashInfer、FlashMLA 等优化内核，以及 FP8、MXFP4、NVFP4、INT4、GPTQ/AWQ、GGUF 等量化路径。接口一侧兼容 OpenAI，也提供 Anthropic Messages API 与 gRPC，支持两百多个模型架构。
🔑 核心要点
- 性能核心是 PagedAttention 的键值内存管理，叠加连续批处理、分块预填充与前缀缓存。
- 量化与内核选择很多：FP8、MXFP8/MXFP4、NVFP4、INT8/INT4、GPTQ/AWQ、GGUF，内核含 FlashAttention、FlashInfer、FlashMLA、Triton。
- 支持投机解码（n-gram、suffix、EAGLE、DFlash）与分离式 prefill/decode，分布式侧有张量、流水线、数据、专家、上下文并行。
- 接口不只 OpenAI 兼容，还提供 Anthropic Messages API 与 gRPC；硬件覆盖 NVIDIA、AMD、Intel GPU 及多种 CPU。
💡 金句
Easy, fast, and cheap LLM serving for everyone.
👍 0
👎 0
← 返回 GitHub Trending 首页