用杂乱的真实企业知识给检索做基准
来源：kapa.ai — 16 分 · by emil_sorensen
📋 概述
Kapa 发布 Company Knowledge Bench：一千条从真实生产数据中标注的评测用例，用来衡量检索在企业文档、工单、聊天与代码上的表现。结果显示，一个只用 grep 的前沿模型能追平调优过的现代检索管线（0.61），但要花五倍时间；优化后的智能体检索 Kapa Deep 约五秒得 0.65。作者也提示，七种检索器均由 Kapa 自建，存在偏差。
🔑 核心要点
- 基准包含 1,000 条来自真实生产数据的评测用例，覆盖企业知识的杂乱形态。
- 只用 grep 的前沿模型可追平调优过的检索管线（0.61），但耗时是后者的五倍。
- 优化后的智能体检索 Kapa Deep 约五秒拿到 0.65，在同一张图上位于更优位置。
- 作者强调公开基准覆盖不到真实用例与多样的查询写法，比如人们习惯把多个问题塞进一条消息。
- 他们坦承七种检索器都由 Kapa 自建，结果存在自评偏差。
💡 金句
一个只用 grep 的前沿模型，能追平调优过的现代检索管线，但要多花五倍的时间。
👍 0
👎 0
← 返回 Hacker News 首页