在消费级 4090 上跑 125B 大模型：Strata 本地推理引擎
来源：github.com/Niko1221/Strata — 2026-09-24
📋 概述
Strata 是一个开源推理引擎，目标是把 1250 亿参数的 Qwen3.8-Flash-Next 塞进普通玩家的游戏 PC 里跑起来，只需一张 12GB 以上显存的 N 卡或 A 卡。它基于 llama.cpp/ggml 构建，提供 Windows/Linux 一键安装，并在本地暴露 OpenAI/Anthropic 兼容 API，让本地模型可以直接接入编码智能体，且数据不出本机。
🔑 核心要点
- 目标是在 消费级显卡（12GB 显存起） 上运行 1250 亿参数 的开源权重模型 Qwen3.8-Flash-Next。
- 实测在 RTX 5070 (12GB) 上，Q2_0 量化可达 94 tokens/s。
- 本地以 OpenAI / Anthropic 兼容 API 形式暴露服务，可被现有编码智能体直接调用。
- 所有数据不离开本机，权重只需下载一次，之后全程离线运行。
💡 金句
在一台普通的游戏 PC 上，跑起一个 1250 亿参数的大模型。
👍 0
👎 0
← 返回 Hacker News 首页