ggml 发布 1.0.0:清掉旧接口,后端性能全面提速
来源:github.com — 2026-11-13
📋 概述
ggml 发布 1.0.0,第一个正式版本做的事是清理与提速:剪掉废弃的公开 API,移除遗留的 DIAG_MASK 系列算子,RPC 协议升级到会拒绝不兼容对端;同时新增可配置的 YaRN 截断与 FP8 支持。性能改动铺得很开——CUDA 与 Metal 上少行量化的 matmul 与 MoE 融合、Vulkan 的 prefill FlashAttention 路径、SYCL 的设备端 MoE 调度器、OpenCL 里分解式 Adreno FlashAttention、新的 WebGPU kernel、Hexagon 算子覆盖扩展,以及避免上传无用输入的调度器改进。
🔑 核心要点
- 1.0.0 的定位是「砍旧账」:废弃 API 与 DIAG_MASK 算子移除,RPC 协议直接拒绝旧对端。
- 新能力是 YaRN 截断可配置化与 FP8 支持,直接服务长上下文与低精度推理。
- 后端工作集中在 MoE 融合与 FlashAttention:CUDA、Metal、Vulkan、SYCL、OpenCL、WebGPU 各有专属优化。
- 调度器开始避免上传未被使用的输入,属于端到端的真实收益而非单 kernel 数字。
💡 金句
ggml 1.0.0 prunes the deprecated public API and the legacy DIAG_MASK ops, adds configurable YaRN truncation and FP8 support.
👍 0
👎 0
← 返回 Hacker News 首页