microsoft/BitNet：1-bit 大模型的官方推理框架

📋 概述

bitnet.cpp 是微软为 1-bit 大模型（如 BitNet b1.58）提供的官方推理框架，用一组优化内核在 CPU 与 GPU 上完成快速且无损的推理。官方给出的加速比是 x86 CPU 上 2.37 倍到 6.17 倍、ARM CPU 上 1.37 倍到 5.07 倍，能耗同时下降 55.4% 到 82.2%；单颗 CPU 可以运行 100B 的 BitNet b1.58 模型，速度约每秒 5 到 7 个 token，接近人的阅读速度。配套模型包括 2.4B 参数、用 4 万亿 token 训练的 BitNet-b1.58-2B-4T，以及首批 1-bit 嵌入模型 BitNet-embedding-0.6B/270M（I2_S 量化下比 F16 快 1.42 倍到 2.28 倍）。MIT 协议，约 4.08 万星，单日新增 134 星。