JustVugg/colibri：纯 C 零依赖，把前沿 MoE 模型跑在普通硬件上
来源：GitHub — 2026-09-11 · 今日 +130 ⭐ · C
📋 概述
colibri 用纯 C 实现了一套 MoE 模型的推理方案，不依赖任何第三方库，核心思路是把专家权重放在磁盘上按需流式加载。这样一来，原本需要大量显存才能装下的前沿混合专家模型，也能在用户已有的普通硬件上运行。项目在极致精简与可移植性上做得很彻底，适合希望彻底掌控推理栈、又不想被框架绑架的场景。
🔑 核心要点
- 纯 C 实现、零依赖，编译与部署路径极短
- 专家权重从磁盘流式加载，避免一次性吃满显存
- 让前沿 MoE 模型能在用户已有的普通硬件上完成推理
- 代码可移植性强，便于嵌入其他系统或做二次改造
💡 金句
当权重可以被流式取用，模型能跑多大就不只由显存决定了。
👍 0
👎 0
← 返回 GitHub Trending 首页