BerriAI/litellm:一个网关统一调用上百种大模型
来源:GitHub — 2026-10-10 · ⭐ 60,544 stars · Python
📋 概述
LiteLLM 是一个开源的 AI 网关,用统一的 OpenAI 格式调用 100 多个模型接口,支持自托管,面向企业场景。它把成本追踪、护栏、负载均衡与日志集中到一层,避免每个应用各自对接不同厂商的 SDK。新版描述已写明采用 Rust 内核加 Python SDK 的结构,后端覆盖 Bedrock、Azure、OpenAI、Anthropic、VertexAI、vLLM 与 NVIDIA NIM,并提供 Render、Railway、AWS、GCP 的一键部署入口。累计约 6.1 万星,是模型接入层里少数长期活跃的项目。
🔑 核心要点
- 用统一的 OpenAI 格式调用 100 多个模型接口,应用侧只需对接一层。
- 把成本追踪、护栏、负载均衡与日志集中在网关层,避免重复对接各厂商 SDK。
- 已演进为 Rust 内核加 Python SDK 的结构,同时保留自托管部署方式。
- 后端覆盖 Bedrock、Azure、Anthropic、VertexAI、vLLM、NVIDIA NIM 等多家服务。
💡 金句
模型越多,中间这层统一的收益就越大,分散对接的成本就越高。
👍 0
👎 0
← 返回 GitHub Trending 首页