从 SSD 流式加载专家权重，让大模型跑在笔记本上 — Hacker News 中文摘要
来源：github.com — 205 分 · by khalidkhair
📋 概述
Janas-LLM 的思路是让专家权重按需从 SSD 流式载入，从而运行比内存还大的 MoE 模型。作者在一台 32 GB 内存的笔记本上跑 48.4 GB 的 Qwen3-Next-80B-A3B，生成速度达 24 tok/s（带草稿可到 37），而 llama.cpp 只有 2.8 tok/s；读 1024 token 的提示时是 62 tok/s 对 16。测试机是 Debian 13、Intel Core Ultra 9 185H 配集成 Arc GPU、32 GB 内存与 NVMe SSD，覆盖 14 个模型，Janas 在同机同模型的对比里每一组都更快；唯一的例外是 3 比特量化的 Qwen3-30B 读提示略慢于 llama.cpp，因为其 Q3_K 权重还不能送入 GPU 的快提示路径，但写入速度仍是对方三倍。
🔑 核心要点
- 核心机制是从 SSD 流式加载专家权重，突破内存上限。
- 48.4 GB 的 Qwen3-Next-80B 在 32 GB 内存笔记本上写出 24 tok/s，草稿模式 37。
- 同机对比 llama.cpp 的 2.8 tok/s，读提示 62 对 16 tok/s。
- 测试机是 Debian 13、Core Ultra 9 185H、集成 Arc GPU、32 GB 内存与 NVMe。
- 对比覆盖 14 个模型，Janas 每一组都不慢于 llama.cpp。
- 唯一例外是 3 比特 Qwen3-30B 的提示读取，因为 Q3_K 权重暂未走 GPU 快路径。
💡 金句
37 tok/s from Qwen3-Next-80B (a 48 GB model) on a laptop with 32 GB of memory, 24 without drafts, where llama.cpp manages 2.8.
👍 0
👎 0
← 返回 Hacker News 首页