dev.to | 📄 原文链接 | 2026-10-03 收录

构建 Sarrera:带 RBAC、Token 配额与遥测的自托管企业 AI 推理网关

来源:dev.to — 2026-10-02

📋 概述

工程团队引入生成式 AI 时常撞上三重困境:把专有源码发给 OpenAI、Anthropic 会触发合规警报;少数开发者跑 Cline、Roo Code、Cursor 这类自主 agent,很容易让月度 token 账单失控;本地集群硬件异构——几台 A100/4090、一些 3060/4060、再加 CPU 兜底集群——没有智能路由就会高端 GPU 打满、其他机器闲置。作者开源了 Sarrera(巴斯克语「入口/门户」),用一个 Docker Compose 部署把企业级本地 AI 推理网关、RBAC 访问控制与可观测平台打包在一起,并声称五分钟内即可自建私有 AI 中枢。架构上以 Caddy v2 统一做 TLS 终结与安全头,把客户端 IDE 与物理算力解耦。

🔑 核心要点

💡 金句

把客户端 IDE 与物理算力硬件解耦,用一个边界反向代理把内网护在后面。
← 返回 dev.to 首页