苹果用 MLX 在 Mac Studio 上跑近万亿参数模型 — Hacker News 中文摘要
来源：machinelearning.apple.com — 104 分 · by antipaul
📋 概述
苹果机器学习研究团队发布新版 MLX，并演示如何在桌面上运行前沿级模型 Muse Spark Open——参数量接近一万亿。在四台 Mac Studio 组成的集群上，该模型生成速度超过每秒 36 个 token，高于人类平均阅读速度；单机统一内存最高可配 512GB，多机扩展靠 RDMA over Thunderbolt 驱动。文章还对比了 M5 Ultra 与 M3 Ultra 在 Mistral Medium 3.5、Qwen 3.8 等模型上的表现。
🔑 核心要点
- Muse Spark Open 参数量为 816B，四台 Mac Studio 上解码速度超过 36 token/秒。
- 单台 Mac Studio 的统一内存最高可配 512GB。
- 多机扩展使用 RDMA over Thunderbolt 驱动，支持流水并行与张量并行两种方案。
- M5 代 GPU 加入 Neural Accelerator，支持专用矩阵乘运算。
- 讨论区指出把 Meta 模型按 NVFP4 量化、Qwen 按原生 BF16 对比并不公平。
💡 金句
On a cluster of four Mac Studios, Muse Spark Open generates over 36 tokens per second, well above average human reading speed.
👍 0
👎 0
← 返回 Hacker News 首页