cactus-compute/needle：8 到 29 MB 的基础模型，专攻端侧工具调用
来源：GitHub — 2026-09-20 · ⭐ 11,515 · Python · 今日 +207
📋 概述
Needle 是面向手机、可穿戴设备、机器人、智能家居、汽车与单片机的端侧基础模型，整个模型是一个 8 到 29 MB 的二进制文件，基于自研的 Simple Attention Network。它主动放弃通用闲聊能力，换取在移动端工具调用上击败体积十倍于己的模型，并在结构化抽取上对齐两三倍大的模型。三个核心能力是工具调用、结构化抽取与文本向量化，且每次响应都带有校准过的置信度分数。
🔑 核心要点
- 整个模型是一个 8–29 MB 的单文件二进制，可以塞进单片机和可穿戴设备
- 工具调用上精确选出函数并填满参数；两个请求返回两个有序调用，没有对应工具就返回空列表而不是瞎猜
- 结构化抽取由字节级语法约束解码，输出保证可解析，并能泛化到分类任务
- 用 2 位量化与 engram n-gram 记忆设计，121M 参数做 50M 参数的算术量
- 同一个模型还能输出句向量，让应用在本地完成搜索、匹配与路由
💡 金句
不是每个 AI 功能都值得连云端——把 8 MB 的判断力放进设备里，隐私和延迟一起解决。
👍 0
👎 0
← 返回 GitHub Trending 首页