Show HN:Shoehorn——把任意模型量化到本地可跑
来源:notactuallytreyanastasio.github.io — 排名 #22 · 18 分
📋 概述
Shoehorn 是一个跨平台工具(Mac/Linux/Windows),提供简洁 GUI,可把任意模型量化压缩到能在本机运行的程度。作者称其在多款模型上表现良好,附带 README 与 DESIGN.md 详述原理,方便想跑本地大模型的人快速上手。
🔑 核心要点
- 量化把大模型压缩到本地可运行的体积。
- 跨平台覆盖 Mac、Linux 与 Windows。
- 图形界面降低了非技术用户的使用门槛。
- 多模型实测支持多款主流模型。
- 开源设计文档公开,便于二次开发。
💡 金句
好工具应该把复杂的量化,变成点一下鼠标。
👍 0
👎 0
← 返回 Hacker News 首页