omlx：Apple Silicon 上的 LLM 推理服务器
来源：GitHub — 2026-08-28 · ⭐ 19,956 stars
📋 概述
一个专为 Apple Silicon 优化的 LLM 推理服务器，支持连续批处理与 SSD 缓存，并可直接从 macOS 菜单栏进行管理。它让本地大模型推理兼顾吞吐与响应速度，把强大的模型能力放进菜单栏，让开发者无需复杂配置即可在 Mac 上跑起高效推理服务。
🔑 核心要点
- 专为 Apple Silicon 优化的 LLM 推理。
- 支持连续批处理与 SSD 缓存，提升吞吐。
- 可从 macOS 菜单栏直接管理，操作轻量。
- 面向本地模型高效推理的使用场景。
💡 金句
把大模型放进菜单栏，是让本地推理真正走进日常的第一步。
👍 0
👎 0
← 返回 GitHub Trending 首页