一个会为你的硬件自我调优的开源推理引擎 Magnitude
来源：github.com — 186 分 · by theanirudh
📋 概述
Magnitude 是 YC S25 团队发布的 Launch HN 项目：一个会针对你的具体硬件自我优化的开源推理引擎。它在你的设备上编译并调优 kernel，让开放模型跑出最高比 llama.cpp 快 2 倍的性能，支持 Apple Silicon、NVIDIA、AMD，甚至纯 CPU。仓库已有 6k star、401 fork，授权为 Apache-2.0。官方强调隐私：提示词、文件与模型都留在本机，模型下载完成后无需联网。
🔑 核心要点
- 核心机制是在用户设备上现场编译并调优 kernel，而不是分发预编译产物。
- 官方给出的对比是比 llama.cpp 最高快 2 倍。
- 硬件覆盖 Apple Silicon、NVIDIA、AMD 乃至纯 CPU。
- 一键接入 Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Cline 等客户端，其余走 OpenAI 兼容 API。
- 隐私承诺是：提示词、文件与模型都不离开本机，下载完成后不需要联网。
💡 金句
它在你的设备上编译并调优 kernel，让开放模型跑得比 llama.cpp 快最多 2 倍。
👍 0
👎 0
← 返回 Hacker News 首页