lyogavin/airllm：单张 4GB 显卡跑 70B 大模型
来源：GitHub — 2026-10-13 · ⭐ 37,272 stars · 今日 +886 · Jupyter Notebook
📋 概述
AirLLM 通过逐层流式加载权重压低显存占用，在不做量化、蒸馏或剪枝的前提下，让 70B 大模型跑在单张 4GB 显卡上。README 列出的端到端实测门槛更激进：Kimi K3（2.8T）在单张 RTX 6000 Ada 上用 3.72GB 跑通，Qwen3.8-Flash-Next（125B）约 5.95GB，DeepSeek-V3（671B）约 12GB，Qwen3.8-27B 只要 3.33GB。2026 年 9 月起同一思路延伸到训练：冻结权重逐层流式载入、适配器常驻 GPU，125B 模型在 6GB 显存（RTX 3060 Ti）可训，Qwen3.8-27B 在约 2GB 下可训。项目以 PyPI 包发布，Apache-2.0 协议，约 3.7 万星，单日新增 886 星。
🔑 核心要点
- 逐层流式加载权重，不做量化、蒸馏或剪枝，就能让 70B 模型跑在单张 4GB 显卡上。
- README 给出端到端实测：Kimi K3（2.8T）3.72GB、Qwen3.8-Flash-Next（125B）5.95GB、DeepSeek-V3（671B）约 12GB、Qwen3.8-27B 3.33GB。
- 2026 年 9 月起支持小显存训练：冻结权重逐层流式载入、适配器常驻 GPU，125B 模型 6GB 可训，27B 模型约 2GB 可训。
- Kimi K3 采用按专家流式加载，只载入 token 实际路由到的专家；v3.0 起支持 FP8 并统一通过 AutoModel 调用。
💡 金句
不做量化、不做蒸馏、不做剪枝，让 70B 大模型跑在单张 4GB 显卡上。
👍 0
👎 0
← 返回 GitHub Trending 首页