GitHub Trending | 📄 原文链接 | 2026-11-13 收录

用 Zig 写的推理引擎：一个二进制直接在 Metal 和 CUDA 上跑模型

来源：GitHub — 2026-11-13 · ⭐ 1,878 stars · Zig · 创建于 2026-06-19

📋 概述

TensorFold 用单个 Zig 二进制在苹果芯片和 NVIDIA 显卡上提供模型服务。它自己读权重、做分词、跑 Metal 或 CUDA 内核，不需要装 Python，也不需要 MLX。仓库还配了一套协作工具，防止多个智能体同时改同一处代码。

🔑 核心要点

单个 Zig 二进制，不依赖 Python 和 MLX，装好就能起服务。
Mac 上 brew 安装后 pull 权重、serve 起服务，两步跑完。
Linux 侧要求 CUDA 13 与 R580 以上驱动，驱动太旧会在启动时直接拒绝。
附带 Agent Traffic Control，先 check 再 claim，避免多个智能体重复改同一个 issue。
示例用 Qwen3.5-2B 的 4bit 量化版本，在 Metal 和 GB10 上都做过验证。

💡 金句

TensorFold serves language models from a Zig binary on Apple Silicon and NVIDIA GPUs. The engine reads checkpoints, tokenizes requests and runs Metal or CUDA kernels directly.

← 返回 GitHub Trending 首页