专家放硬盘、按需读进来：家用机跑两百九十亿以上的 MoE
来源：GitHub — 2026-11-03 · ⭐ 15,893 stars · Python
📋 概述
FreeToken 是面向边缘设备的 MoE 推理引擎，把 GPU、CPU、主机内存和互连当成一整块弹性推理平台，目标是在玩家自己的机器上以可交互速度跑 290B 以上的前沿混合专家模型。它的手段是带宽自适应的 CPU-GPU 协同执行、全层双缓冲的预填充流式加载、全局 LRU 专家缓存，以及让智能体上下文编辑不必重算的语义锚点检查点。
🔑 核心要点
- 把异构资源当一块卡用：显存、内存、互连统一调度，按实测带宽决定每层谁来算。
- 专家缓存加流式预填充：权重不必整体驻留，冷专家从存储按需读入。
- 语义锚点检查点：工具调用、思考块这类上下文编辑只重算变化部分，省掉大量冗余计算。
- 自带快速权重格式 FTW，减少加载与格式转换开销。
- 明确对标本地部署：不是云端服务的客户端，而是把数据中心那套调度搬到桌面。
💡 金句
FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.
👍 0
👎 0
← 返回 GitHub Trending 首页