在一台 2GB 内存的电视盒子上跑到 160 亿参数模型
来源：github.com — 2026-11-12
📋 概述
smolmaxxing 是一个把大模型塞进最弱小设备的项目：第一台设备是小米电视盒子，四核 A55、可用内存约 1GB、未 root，从 2.6 亿参数一路跑到 160 亿参数的混合专家模型。Qwen3.5-0.8B 达每秒 16.8 个 token，2B 到 7.7，8B 的 Moon-Beam 靠专家分页与预取跑到 7.2。第二台是 2013 年的第一代 iPad Air，1GB 内存、越狱、纯 CPU，1-bit 的 1.7B 模型能跑到每秒 24 到 26 个 token。全部数字在真机实测，一百六十组实验逐条写在实验记录里。
🔑 核心要点
- 方法是逐个瓶颈攻：1-bit 查表内核、专家分页、权重流式加载，每一项都对应一类具体的硬件限制。
- 1-bit 查表内核只需基础 NEON，所以十三年前的 A7 也能跑；带 dotprod 的芯片才用得上更强的内核。
- 结论反直觉：更大的模型不一定更划算，16B 的 Ling-mini 是 Moon-Beam 的两倍大，但每字节质量更差、速度更慢。
- 作者交代了测量纪律：电视盒速度一天内会漂移约 10%，所以每一步都是背靠背测出来的差值。
💡 金句
Every device around you is more capable than it looks.
👍 0
👎 0
← 返回 Hacker News 首页