GitHub Trending | 📄 原文链接 | 2026-10-10 收录

BerriAI/litellm:一个网关统一调用上百种大模型

来源:GitHub — 2026-10-10 · ⭐ 60,544 stars · Python

📋 概述

LiteLLM 是一个开源的 AI 网关,用统一的 OpenAI 格式调用 100 多个模型接口,支持自托管,面向企业场景。它把成本追踪、护栏、负载均衡与日志集中到一层,避免每个应用各自对接不同厂商的 SDK。新版描述已写明采用 Rust 内核加 Python SDK 的结构,后端覆盖 Bedrock、Azure、OpenAI、Anthropic、VertexAI、vLLM 与 NVIDIA NIM,并提供 Render、Railway、AWS、GCP 的一键部署入口。累计约 6.1 万星,是模型接入层里少数长期活跃的项目。

🔑 核心要点

💡 金句

模型越多,中间这层统一的收益就越大,分散对接的成本就越高。
← 返回 GitHub Trending 首页