苹果 MLX 让四台 Mac Studio 跑近万亿参数模型 — Hacker News 中文摘要
来源：machinelearning.apple.com — 346 分 · by antipaul · 185 条评论
📋 概述
苹果机器学习研究团队发布新版 MLX，并演示在 Mac Studio 上本地跑 Muse Spark Open——816B 参数的 MoE 模型。单台 M5 Ultra（最高 512GB 统一内存）即可起步，四台通过 Thunderbolt 上的 RDMA 组成集群，张量并行下解码速度超过 36 token/s，已高于人均阅读速度。文章同时对比 M5 与 M3 Ultra，前者新增 GPU Neural Accelerator，专门加速矩阵乘法。
🔑 核心要点
- Muse Spark Open 是 816B 参数 MoE，以 NVFP4 精度在 MLX 上运行。
- 四台 M5 Ultra Mac Studio 走 Thunderbolt RDMA，张量并行解码超过 36 tok/s。
- 单机最高 512GB 统一内存即可起步，多机支持流水并行与张量并行两种切法。
- M5 的 GPU Neural Accelerator 提供专用矩阵乘法指令，是这一代提速的关键。
- 对照模型含 Mistral Medium 3.5（128B，FP8）与 Qwen 3.8（27B，BF16）。
💡 金句
On a cluster of four Mac Studios, Muse Spark Open generates over 36 tokens per second
👍 0
👎 0
← 返回 Hacker News 首页