纯 C 单文件引擎：专家留在磁盘，前沿 MoE 跑在旧机器上
来源：GitHub — 2026-11-04 · ⭐ 47,091 stars · C
📋 概述
colibri 走的是小引擎扛大模型的路子：MoE 每个 token 只用到一小部分专家，它把那部分放内存，其余专家按模型请求从磁盘读。纯 C 实现，每个模型族一个文件，不需要显卡。官方称已有十三个引擎在跑，其中十个面向语言模型，覆盖 GLM-5.2/5.3、Kimi K3、DeepSeek V4 Flash、Qwen3.8-Flash-Next 等，也能直接读已发布的 GGUF 文件。
🔑 核心要点
- 起步门槛写得很清楚：至少 8GB 内存、22GB 空闲磁盘，显卡可选，Windows 双击脚本、Linux/macOS 跑 start-here.sh。
- 演示里 744B 的 MoE 用 int4 在 CPU 上流式跑，32 秒就绪，常驻内存只有 9.9GB。
- 除了 CPU，还能走 Vulkan 在任意显卡上跑、走 CUDA 在英伟达卡上跑。
- 十三个引擎里有一个出图的 Qwen-Image-2.1，还有 Laya、GLiNER2.5-Decide 等做决策的模型。
- 安装脚本会顺手把 Python 依赖装上，Windows 用户连 Python 缺失都能被代劳。
- 免费开源，靠咖啡钱续下一个引擎和下一轮提速。
💡 金句
colibri runs very large open models on the machine you already have.
👍 0
👎 0
← 返回 GitHub Trending 首页