把考场拉平：完全离线的 Kubernetes 文档 RAG 助教
来源：dev.to — 2026-11-04
📋 概述
教云原生课程的老师面临一个两难：真实运维本来就要查文档、用 AI 助手，可一旦考场开放 AI，就同时引入了付费订阅带来的不公平、联网带来的作弊风险和云端 API 的成本与隐私问题。作者的方案是把整套 RAG 塞进浏览器：维护者预先构建 16,483 个 chunk 的 float32 向量矩阵和 BM25 倒排索引，学生端零索引启动；检索用 RRF 融合语义与术语精确匹配；生成端靠 Gemma 4 E2B 加 LiteRT-LM 在 WebGPU 上跑，模型缓存在 OPFS 里。量化后的模型能在集显笔记本上运行，学校无需支付任何推理费用。
🔑 核心要点
- 三个真实痛点：付费模型让学生「花钱变强」、开放网络破坏考试诚信、集中式 LLM 代理既贵又怕并发。
- 索引由维护者一次性预构建：16,483 个 768 维 float32 向量加 BM25 倒排索引，学生打开即用、不必现场嵌入。
- 检索用倒数排名融合把 EmbeddingGemma 的语义匹配和 BM25 的 Kubernetes 术语精确匹配合到一起，并按页面去重。
- 生成靠 Gemma 4 E2B 经 LiteRT-LM 在 WebGPU 上本地跑，4-bit 量化的嵌入模型让普通集显笔记本也能承受。
💡 金句
“Prepare once on the maintainer's machine; run identically and offline on every student's browser.”
译：在维护者的机器上准备一次，然后在每个学生的浏览器里以完全相同的方式离线运行。
👍 0
👎 0
← 返回 dev.to 首页