在 Glean 的测试里,一个不写文字的模型只做判断:一百个藏在文档里的提示注入抓到九十九个,耗时约十分之一秒,成本约为原来的一半。作者指出很多 AI 步骤本质上是选择题:这是什么类型的请求、该由哪个模型处理、这段提示是否安全、下一步展示什么选项。这些答案本来就可以提前列举,却被送进会写文章的模型,再把文本解析回标签。
🔑 核心要点
大多数 AI 步骤其实是决策,不是生成,却都用生成模型来处理。
把标签问题丢给会写文章的模型,再解析文本回标签,是双重浪费。
这类模型直接返回带概率的类型化答案,没有文本需要解析。
实测拦截率九成九、约十分之一秒、约一半成本。
💡 金句
“It's like asking for an essay when all you need is a checkbox.” 译:这就像你只需要勾一个复选框,却去要一篇文章。