构建 Sarrera:带 RBAC、Token 配额与遥测的自托管企业 AI 推理网关
来源:dev.to — 2026-10-02
📋 概述
工程团队引入生成式 AI 时常撞上三重困境:把专有源码发给 OpenAI、Anthropic 会触发合规警报;少数开发者跑 Cline、Roo Code、Cursor 这类自主 agent,很容易让月度 token 账单失控;本地集群硬件异构——几台 A100/4090、一些 3060/4060、再加 CPU 兜底集群——没有智能路由就会高端 GPU 打满、其他机器闲置。作者开源了 Sarrera(巴斯克语「入口/门户」),用一个 Docker Compose 部署把企业级本地 AI 推理网关、RBAC 访问控制与可观测平台打包在一起,并声称五分钟内即可自建私有 AI 中枢。架构上以 Caddy v2 统一做 TLS 终结与安全头,把客户端 IDE 与物理算力解耦。
🔑 核心要点
- 三个动机:云端隐私合规风险、失控的 token 账单、本地硬件碎片化。
- Sarrera 把 推理网关、RBAC 与可观测性打包进单个 Docker Compose,几分钟就能自建私有 AI 中枢。
- 架构核心是 Caddy v2 反代,对外只暴露 80/443,集中做 TLS 终结与 HSTS 等安全头。
- 通过 多层订阅配额与动态节点管理,在高端 GPU 与中低端卡之间做智能路由。
💡 金句
把客户端 IDE 与物理算力硬件解耦,用一个边界反向代理把内网护在后面。
👍 0
👎 0
← 返回 dev.to 首页