Switchyard：LLM 流量的 Rust 代理与路由库
来源：github.com — NVIDIA-NeMo/Switchyard · ⭐ 712 · Rust
📋 概述
Switchyard 是一个用 Rust 编写的 LLM 代理与库，负责在大模型提供方之间路由请求，自动在 OpenAI 与 Anthropic API 间转换格式，并记录运行指标，支持可组合的路由算法。
🔑 核心要点
- 协议转换：在 OpenAI Chat、Anthropic Messages 与 Responses 格式间互译。。
- 多后端路由：随机、分类器、信号驱动等多种路由策略，也支持自定义算法。。
- 运行指标：记录请求、错误、延迟与 token 等 Prometheus 指标。。
💡 金句
让任何编码智能体都说着母语 API，去访问它想用的模型。
👍 0
👎 0
← 返回 GitHub Trending 首页