Hacker News | 📄 原文链接 | 2026-09-02 收录

低内存 Mac 也能跑 104GB 大模型:slotstream

来源:github.com — 排名 · 7 分

📋 概述

slotstream 用 Swift + MLX 把 Qwen3.8-Flash-Next(125B 稀疏专家模型、4-bit 下 104GB)从 SSD 流式加载,让只有 16GB 内存的 Mac 也能跑起来,48GB 机型温暖解码约 12 token/s。它将大模型拆成专家缓存按需读取,磁盘成为门槛,内存反而可以很省。

🔑 核心要点

💡 金句

磁盘是第一个咬人的门槛,内存反而是可以商量的。
← 返回 Hacker News 首页