把云端分类器蒸馏成本地模型，并附上一个误差上界 — Hacker News 中文摘要
来源：jevstiller.pages.dev — 32 分 · by tgluck
📋 概述
用 Jev 这类分类器，每次判断都是一次约 300 毫秒的网络往返；对批处理无所谓，但对一个「决定、行动、再决定」的智能体循环或游戏帧来说，这就是全部预算。Jevstiller 在中间加一层本地小模型：冻结的 bge-small 句向量加一个逻辑回归头，几百 KB、几秒训完。真正的卖点是契约——设一个数字比如 98%，本地模型只在有把握时作答（CPU 上约 15 毫秒），其余全部转发给 Jev，并保证本地给出的标签与 Jev 一致的比例不低于该数值。
🔑 核心要点
- 痛点是每次调用 300 毫秒网络往返，直接吃掉智能体循环的预算。
- 本地模型只是冻结句向量加一个逻辑回归头，体积几百 KB。
- 有把握时在 CPU 上约 15 毫秒给出答案，其余请求转发给 Jev。
- 核心是可声明的误差上界（例如 98%），而非模型本身有多小。
- 放行与否由置信度阈值加分布外检测共同决定。
💡 金句
Set one number, say 98%. Jevstiller returns the label Jev would have returned on at least that share of requests.
👍 0
👎 0
← 返回 Hacker News 首页