smolmaxxing：把最大的模型塞进最破的设备
来源：github.com/hyperionaidev/smolmaxxing — 2026-11-13
📋 概述
这个仓库的规则很简单：在你能拿到的最小硬件上跑尽可能大的模型。它挑了三个设备做实测——小米电视盒子（1.9GB 内存，约 1GB 可用）、2013 年的 iPad Air（1GB，越狱）、一加 Nord CE 2（7.4GB）——所有数字都是设备上实测的，不是估算。手段是自定义 kernel、精细的内存管理，以及从闪存流式读取权重。结果是电视盒子能跑 16B 的 Ling-mini-2.0（5.1 tok/s），手机能跑到 Qwen3-Next-80B-A3B（2.6–3.1 tok/s）。
🔑 核心要点
- 日常可用档位被单独列出：电视盒子上 Qwen3.5-2B 能到 7.7 tok/s，比硬塞最大模型更实用。
- 越狱的 2013 年 iPad Air 用 1-bit 的 Bonsai-1.7B 跑到 24–26 tok/s，是三个设备里最快的。
- 权重从闪存流式读取，绕开了内存容量的硬限制。
- 仓库强调每个数字都在设备上实测，并给每个设备留了完整结果文档。
💡 金句
Run the biggest language model you can on the smallest hardware you own.
👍 0
👎 0
← 返回 Hacker News 首页