Switchyard：LLM 流量的 Rust 代理与路由库
来源：github.com — NVIDIA-NeMo/Switchyard · ⭐ 408 · Rust
📋 概述
Switchyard 是一个用 Rust 编写的 LLM 流量代理与路由库，让应用能够在不同模型与提供商之间智能路由流量，同时保留并管理上下文，实现高可用与成本优化的模型调度。
🔑 核心要点
- 多模型路由：在不同提供商与模型间灵活切换，避免单点依赖。
- Rust 高性能：以 Rust 实现低延迟高吞吐的流量转发。
- 上下文保持：跨模型切换时保留对话上下文，体验无缝衔接。
- 成本与可靠性：按需路由到最优模型，兼顾质量、成本与可用性。
💡 金句
聪明的应用，会把每个请求交给最合适的模型，而不是永远迷信同一个。
👍 0
👎 0
← 返回 GitHub Trending 首页