lyogavin/airllm：单张 4GB 显卡跑 70B 大模型
来源：GitHub — 2026-10-12 · ⭐ 36,269 stars · 今日 +541 · Jupyter Notebook
📋 概述
AirLLM 通过逐层流式加载权重大幅压低显存占用，在不做量化、蒸馏或剪枝的前提下，让 70B 大模型跑在单张 4GB 显卡上。README 给出的实测门槛更激进：Kimi K3（2.8T）可在 4GB 以下运行，Qwen3.8-Flash-Next（125B）约 6GB，DeepSeek-V3（671B）约 12GB。2026 年 9 月起它把同一思路扩展到训练——冻结权重逐层流式载入、适配器常驻 GPU，125B 模型可在 6GB 显存下训练。项目以 Apache-2.0 协议开源，累计约 3.6 万星，单日新增 541 星。
🔑 核心要点
- 逐层流式加载权重，不做量化、蒸馏或剪枝即可把 70B 模型塞进单张 4GB 显卡。
- README 列出更大模型的显存门槛：Kimi K3（2.8T）不到 4GB、Qwen3.8-Flash-Next（125B）约 6GB、DeepSeek-V3（671B）约 12GB。
- 2026 年 9 月起支持小显存训练：冻结权重逐层流式载入、适配器常驻 GPU，125B 模型 6GB 可训。
- 以 Python 包形式发布在 PyPI，Apache-2.0 协议；约 3.6 万星、单日新增 541 星。
💡 金句
不做量化、不做蒸馏、不做剪枝，让 70B 大模型跑在单张 4GB 显卡上。
👍 0
👎 0
← 返回 GitHub Trending 首页