GitHub Trending | 📄 原文链接 | 2026-11-03 收录

纯 C 单文件:专家从磁盘流式读,前沿 MoE 跑在旧机器上

来源:GitHub — 2026-11-03 · ⭐ 46,356 stars · C

📋 概述

colibri 是一台极小的推理引擎,思路是把 MoE 的稀疏性用到极致:几千亿参数的模型每个 token 只激活一小部分专家,于是它把这部分留在内存里,其余专家在模型要的时候从磁盘读。全部用纯 C 写成,每个模型家族一个文件,不需要 GPU,目前已有十三个引擎,覆盖 GLM、Kimi、DeepSeek、Qwen、OLMoE 等系列,也能直接跑现成的 GGUF 权重。

🔑 核心要点

💡 金句

A mixture-of-experts model of hundreds of billions of parameters uses only a small part of itself for each token, so colibri keeps that part in RAM and reads the rest, the experts, from the disk when the model asks for them.
← 返回 GitHub Trending 首页