Show HN：Swiftlet——80B 模型用 4.3GB 内存跑在 Mac 上
来源：github.com — 排名 #8 · 274 分 · 作者 leonickson
📋 概述
Swiftlet 在 Mac 上用仅 4.3GB 内存运行 80B 级 Qwen，35B 模型甚至能塞进 iPhone。项目通过极致的量化与推理优化，把大模型门槛压到个人设备，让本地推理触手可及。
🔑 核心要点
- 80B 模型仅需 4.3GB 内存
- 35B 模型可在 iPhone 上运行
- 极致的量化与推理优化
- 大模型推理下沉到个人设备
- 本地 AI 的门槛被大幅拉低
💡 金句
当 80B 模型装进口袋，算力民主化就不再是口号。
👍 0
👎 0
← 返回 Hacker News 首页