Mac Studio M5 Ultra vs NVIDIA DGX Spark：5500 美元的本地 AI 豪赌

🔑 核心要点

• 决定买哪台只有两个数字：内存容量决定模型能否装下，内存带宽决定权重重读速度——LLM 推理一旦模型载入，几乎纯粹是内存带宽问题
• M5 Ultra 的 1.2TB/s 对 DGX Spark 的 273GB/s 不是四舍五入的误差，而是一代人的差距，且恰好落在最重要处：大模型的 token 生成
• DGX Spark 的「1 petaFLOP 桌面算力」是 FLOPs 峰值，而大模型推理受带宽限制：独立基准显示 Llama 3.3 70B 端到端仅约 5.4 token/秒——「桌面上的 petaflop」生成文本的速度约等于一个读得快的真人
• 软件是分水岭：只要涉及 llama.cpp/MLX 之外的一切，DGX Spark 跑完整 CUDA 栈（CUDA、TensorRT-LLM、NIM、微调工具链）；NVIDIA 公布的 Llama 70B QLoRA 微调峰值达每秒 5079 token，Apple 的 MLX 无可比
• 现实的价格表：M5 Ultra 96GB 起售 5499 美元、256GB 升级加价 4000、512GB 十月才发货且未定价；DGX Spark 4699 美元保证 128GB 现在就能买
• 决策框架：推理重（agent、RAG、团队本地编程助手）买 Mac Studio，需要微调或 CUDA 专属工具、或这个季度就要内存就买 Spark；只想本地编程助手，899 美元的 Mac mini M6 就够——别为了开个罐头买台叉车

💡 金句