Manticore Search 在内部分块:让长文档的向量检索更准
来源:manticoresearch.com — manticoresearch.com · 66 分 · by GloriaVinogrado
📋 概述
问题的起点很安静:你往带自动嵌入的向量列里插一篇四千词的文档,插入成功、检索也能用,但你选的模型输入窗口只有 512 个 token,也就是说它只读了开头三百多个词,后面三千多词被直接丢掉,而且没有任何地方提醒你。Manticore Search 现在把分块搬进建表语句:给向量列加 chunk_strategy,指定五种策略之一,服务会在 INSERT 时把文档切成块、逐块嵌入、检索时一并搜索,不需要外部 ingest 管线,也不需要自己引一个分块库。官方用自家手册做了对照,深内容部分的 recall@5 从 55% 提升到 83%。
🔑 核心要点
- 模型窗口有限时,超出部分被静默丢弃,检索永远够不到。
- 解决方式是建表时给向量列加 chunk_strategy。
- 写入时自动分块、逐块嵌入、统一检索。
- 不需要额外的ingest 管线或分块库。
- 官方手册实测深内容 recall@5 从 55% 升到 83%。
💡 金句
嵌入模型只读了文档最开始几百个 token,剩下的被悄悄丢掉了,而且什么都没告诉你。
👍 0
👎 0
← 返回 Hacker News 首页