C/C++ 写的推理引擎：把大模型塞进任何一台机器
来源：GitHub — 2026-11-13 · ⭐ 134,398 stars · C++ · 创建于 2023-03-10
📋 概述
llama.cpp 用 C/C++ 实现大模型推理，不依赖 Python 生态，能在笔记本、服务器和移动端直接加载 GGUF 量化权重。它自带量化工具、服务端和 Docker 镜像，把「跑一个模型」压缩成编译加下载两步，是本地推理生态里被引用最多的一块地基。
🔑 核心要点
- 纯 C/C++ 实现，编译产物是单个可执行文件，除显卡驱动外不需要别的框架。
- 自带多种量化方案，把权重压到几 GB，普通笔记本的 CPU 也能跑起来。
- 提供 OpenAI 兼容的服务端和 Docker 镜像，可以直接当接口服务用。
- 后端覆盖 CPU、Metal、CUDA、Vulkan 等，同一份权重在不同硬件上都跑得动。
- MIT 许可，仓库十三万四千星，是本地推理生态里被引用最多的一块地基。
💡 金句
LLM inference in C/C++
👍 0
👎 0
← 返回 GitHub Trending 首页