2.78 万亿参数进 8.24GB 内存：单核 CPU 上的纯 C 推理
来源：GitHub — 2026-11-05 · ⭐ 10,116 stars · C
📋 概述
这个项目用可移植的 C99 在单颗 CPU 上跑 2.78 万亿参数的 Kimi K3 推理，常驻内存只要 8.24GB。三条硬约束写得很清楚：没有 BLAS，没有推理框架，也不需要 GPU，因此它更像一份把大模型推理拆到最小依赖的教学级实现。
🔑 核心要点
- 2.78 万亿参数却只占 8.24GB 内存，意味着绝大多数参数并不常驻，运行时必须按需搬运。
- 纯 C99，不绑定任何加速库与框架，能在哪儿编译就能在哪儿跑。
- 不需要显卡，普通机器即可复现，这类项目通常把「家用硬件跑前沿模型」当第一目标。
- 仓库以 C 为主，配少量 Python 与 Shell 做数据处理和构建脚本，阅读门槛集中在 C 代码本身。
💡 金句
A 2.78-trillion-parameter Kimi K3 running inference on a single CPU in 8.24 GB of RAM. Portable C99: no BLAS, no framework, no GPU.
👍 0
👎 0
← 返回 GitHub Trending 首页