更便宜的大模型标注：先让快分类器筛一遍
来源: entropicthoughts.com — 2026-09-24
概述
作者需要把两万一千个提交标注为「维护」或「新开发」，用 Simon Willison 的 llm 命令行工具搭配 gpt 5.6 Luna，通过管道在每个提交上调用一次。虽然单次调用的钱很便宜，但每次约 1.5 秒的延迟累计起来难以接受。他的优化是把提交消息的词频当作特征喂给一个朴素的快分类器：当它有 50 个以上训练样本、并且随机数落在 95% 的情况下，只在非常自信时（概率低于 0.08 判维护、高于 0.92 判新开发）直接返回标签，其余情况才交给 LLM。
核心要点
- 任务是给约 21000 个提交做二分类标注，使用 llm 工具搭配 gpt 5.6 Luna。
- 朴素做法是逐条调用，每次约 1.5 秒延迟，成本不高但延迟难受。
- 优化思路是先用更原始也更快的分类器判掉显而易见的样本，只把难例交给大模型。
- 快分类器的特征取自提交消息的词频统计。
- 保留约 5% 的随机抽样继续走 LLM，避免在连续同一标签的长序列上学到概率恰好为 0 或 1。
金句
有些提交显然是新开发、有些显然是维护；既然能用更原始也更快的办法判掉，就只把难例交给大模型。
👍 0
👎 0
← 返回 Lobsters 首页