Unsloth 放出 Qwen3.8-27B 动态量化 v3.1
来源：unsloth.ai — 2026-11
📋 概述
Unsloth 更新了 Qwen3.8 本地运行指南，把 Qwen3.8-27B 的动态量化推到 v3.1。文档给的是可直接照抄的路径：按显存选择动态 GGUF 档位、用 Unsloth 的启动脚本起服务、需要时接 Claude Code 或 Codex 这类工具调用客户端。这一系列的卖点一直是「动态量化」——对敏感层保留更高精度、其余压得更狠，让 27B 级别的模型在消费级显卡上跑得动又不至于明显掉点。
🔑 核心要点
- 动态量化 v3.1 的目标是让 27B 模型在消费级显存上跑起来，兼顾体积与质量。
- 文档给出从安装、下载到起服务的完整命令，属于可以照抄的操作手册。
- 支持把本地服务接到 Claude Code、Codex 等客户端，走的是 OpenAI 兼容接口。
- 同一目录还覆盖 Qwen3.8-Flash-Next、GLM-5.3-Flash 等新模型的本地部署方案。
💡 金句
Guide to running Qwen3.8 quants including Qwen3.8-27B on your local setup.
👍 0
👎 0
← 返回 Hacker News 首页