开源引擎让 Gemma 4 26B 模型在 2GB 内存的 Mac 上运行

📋 概述

TurboFieldfare 是一个用 Swift 和 Metal 编写的专用推理引擎，能在任何 M 系列 Mac 上以约 2GB 内存运行 4-bit 量化的 Gemma 4 26B 模型。其核心技巧是将模型的共享部分和 KV 缓存保留在内存中，然后按需从 SSD 流式加载路由专家，利用小型专家缓存和有界并行预读取来隐藏磁盘延迟。在 8GB M2 MacBook Air 上达到 5-6 tok/s，M5 MacBook Pro 上达到 31-35 tok/s，还支持 OpenAI 兼容的本地服务器。