lyogavin/airllm：单张 4GB 显卡跑 70B 大模型

📋 概述

AirLLM 靠逐层流式加载把推理显存压到极低：不做量化、不做蒸馏、也不做剪枝，就能在单张 4GB 显卡上跑 70B 大模型。官方给出的实测数字里，最大的开源模型 Kimi K3（2.8T）在单张 RTX 6000 Ada 上占 3.72GB，按 token 实际路由到的专家做逐专家流式加载；Qwen3.8-Flash-Next（125B）端到端跑在 5.95GB，n-gram 表用文件映射放在主机侧，64GB 内存的机器就够。2026 年 9 月起还支持小显存训练：冻结权重逐层流式过一遍，适配器留在 GPU 上，125B 模型可在 6GB 以下训练。以 Jupyter Notebook 实现，累计约 3.81 万星、单日新增 1,004 星，采用 Apache-2.0 协议。