lightseekorg/tokenspeed：为智能体负载而生的极速推理引擎

📋 概述

TokenSpeed 是一台面向智能体负载的 LLM 推理引擎，目标是在生产级智能体场景里做到最快的推理速度，性能对标 TensorRT-LLM、易用性对标 vLLM。架构上分三层：调度器由 C++ 控制面与 Python 执行面组成，把请求生命周期、KV 缓存归属与重叠时序编码成有限状态机，KV 资源的安全复用由类型系统在编译期强制保证；内核层是可插拔的分层设计，提供可移植的公共 API 与集中注册表，其中包含一个面向 Blackwell 上智能体负载的 MLA（多头潜在注意力）实现；入口层是与 SMG 集成的 AsyncLLM，负责低开销的 CPU 侧请求处理。README 称 PyTorch 基金会特别指出了它与现有推理引擎在架构上的差异。