GitHub Trending | 📄 原文链接 | 2026-08-20 收录

Omlx：Apple Silicon 上由菜单栏管理的 LLM 推理服务器

来源：github.com — jundot/omlx · ⭐ 467 · Python

omlx 是一款面向 Apple Silicon 的 LLM 推理服务器，支持连续批处理与 SSD 缓存，并可从 macOS 菜单栏直接管理，让开发者在本地便捷地运行大模型推理服务。

🔑 核心要点

强大的本地推理，应该像菜单栏工具一样随手可得。