我构建了一个真正了解我项目的私人 AI（RAG + Ollama，零云依赖）
来源：dev.to — 2026-08-21
📋 概述
受够了每次会话都要向 AI 重新解释自己代码库的折磨，作者搭建了一套完全本地运行的个人 RAG 系统：文档（README、架构说明、Obsidian 笔记、代码片段、收藏的 StackOverflow 答案等）被分块并用 Ollama nomic-embed-text 嵌入，存入 Chroma 向量库；查询时检索 Top-5 相关块喂给 Ollama 的 Qwen 3.5 9B 模型回答。全程零云、零 API 费用、无上下文窗口重置，约 4,800 块索引、查询响应在 2 秒以内，仅需 8GB 内存的 Mac Mini 即可运行。
🔑 核心要点
- RAG 取代"每次粘贴 200 行上下文"的老办法：只把相关 3-5 段检索结果喂给模型。
- 技术栈极简：Ollama nomic-embed-text 嵌入 + Chroma 向量库 + Qwen 3.5 9B 本地模型。
- 已索引约 4,800 块，覆盖 README、架构文档、个人笔记、代码片段与收藏的问答，查询响应低于 2 秒。
- 零云、零 API 密钥、无上下文重置，任何 8GB 内存的机器（如 Mac Mini）都能跑。
💡 金句
LLM 记不住东西——与其每次重贴 200 行上下文，不如让它在需要时精确取回那几段。
👍 0
👎 0
← 返回 dev.to 首页