把数据中心搬上桌面：前沿稀疏模型在本机跑到交互速度
来源：GitHub — 2026-11-02 · ⭐ 15,224 stars · Python
📋 概述
FreeToken 是一个边缘原生的混合专家推理引擎，目标是把原本要吃数据中心的前沿开源模型塞进个人电脑：官方说法是在游戏机上跑 290B 级别的稀疏模型，并保持可交互的速度。它把 GPU、CPU、主机内存与互联当成一个统一的弹性推理平台，核心手段包括带宽自适应的 CPU-GPU 协同执行、全层双缓冲的预填充流式加载、全局 LRU 专家缓存、图兼容执行，以及自定义的快速权重格式。此外还有语义感知缓存：智能体改动上下文（工具调用、思考块）时，不会把整段上下文重新算一遍。
🔑 核心要点
异构资源当一台机器用：GPU、CPU、内存与互联统一调度，显存不够时不是报错而是分流。 带宽自适应策略：按当下 CPU 与 GPU 之间的实际带宽决定谁算哪部分，而不是写死比例。 预填充全层双缓冲：边加载边计算，减少等待权重到位的时间。 专家缓存全局 LRU：稀疏模型每次只激活少数专家，缓存命中率直接决定速度。 语义感知缓存服务智能体：工具调用与思考块变化时可复用已有状态，避免重复预填充。
💡 金句
Unlock datacenter-class intelligence on the hardware you already own — Run 290B+ frontier MoE models locally on your gaming PC at blistering interactive speeds.
👍 0
❤️ 点赞
👎 0
沉底
← 返回 GitHub Trending 首页