DeepSeek 开源自家推理引擎 DeepInfer — Hacker News 中文摘要
来源：github.com — 1727 分 — 1727 分 · by
📋 概述
DeepSeek 把支撑其大规模线上服务的高性能推理框架 DeepInfer 以 Apache 2.0 开源，本次发布聚焦离线推理。它支持 DeepSeek-V4.1-Flash，内置 FlashMLA、DeepGEMM、DeepEP 等优化内核，以及 MoE 专家并行、批内不变性推理、确定性采样与结构化输出，硬件覆盖英伟达 SM100 与华为昇腾 950。
🔑 核心要点
- 官方定位是支撑 DeepSeek 大规模生产服务的高性能推理框架，本次开源的是离线推理部分
- 内置 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 等自研内核与 TileLang 定制内核
- 并行策略包括 Attention DP / 均衡 CP 与 MoE EP + EPLB，并支持 DSpark 投机解码加速
- 硬件支持 英伟达 SM100 GPU 与华为昇腾 950 NPU，KV 缓存、PD 分离与副本负载均衡不在本次发布内
- 项目基于 vLLM 起步，借鉴 SGLang 与 TensorRT-LLM，仓库已积累 10.3k 星标
💡 金句
DeepInfer is the high-performance inference framework that powers DeepSeek's large-scale production services.
👍 0
👎 0
← 返回 Hacker News 首页