Agents · AI 网关
LiteLLM
统一多模型与 MCP 接入的 AI 网关
LiteLLM 把各家模型、Agent 和 MCP 服务收到一个 key 后面,统一做路由、预算、限流和审计。
状态
verified
开源
价格
开源版免费,企业版需询价
开源 / 许可证以仓库为准
入口
API / GitHub / 自托管
自托管 / 云端托管 / Docker / SDK 集成
API
有 API/SDK
可接第三方模型
形态
开源网关 + 代理
Python / Docker / API
选型结论
适合要给多个 Agent 统一模型入口、做预算和限流的平台团队。开源版免费,可自托管或用云端托管;与直接用各家 SDK 相比,省掉多供应商适配和成本治理。SSO、RBAC、审计日志等治理能力在企业版,价格以官网价格页为准。
定位
适合
成本口径
核心能力
统一入口
把各家模型、Agent 和 MCP 服务收到一个 key 下,只需对接一套 OpenAI 兼容接口。
预算限流
按 key、团队或模型维度设置预算与速率限制,让多 Agent 共用模型时成本可控。
多供应商适配
覆盖 OpenAI、Anthropic、Gemini、Bedrock 和本地模型,差异由网关消化。
MCP 支持
把 MCP 服务一并纳入统一入口,Agent 调用工具和模型走同一套鉴权与路由。
典型使用场景
多 Agent 共用
多个 Agent 共用一套模型入口,按团队分配 key 并分别设置预算与限额。
成本治理
把不同供应商的调用统一计费和审计,避免每个项目各自接 SDK 后成本分散。
自托管接入
用 Docker 或 SDK 在自有环境部署网关,模型请求与密钥留在自己侧。
上手步骤
- 1
部署网关
用 Docker 或 Python 包在自有环境启动代理服务,暴露 OpenAI 兼容接口。
- 2
配置供应商
填入 OpenAI、Anthropic、Gemini 或 Bedrock 的凭据,模型经网关调用。
- 3
发虚拟 key
给团队或 Agent 发放独立 key,分别设定预算上限和每分钟请求限制。
- 4
接入 MCP
把 MCP 服务登记到网关,Agent 调用工具时沿用同一套鉴权与日志。
价格与使用方式
价格口径
开源状态
API 状态
使用入口
运行方式
支持平台
常见连接对象
所属生态
优点与局限
值得选的地方
- 一个 OpenAI 兼容入口接多家模型与 MCP 服务
- 自带预算、限流与路由,便于统一成本治理
- 开源可自托管,支持 API 与 Docker 部署
先想清楚的地方
- SSO、RBAC 与审计日志等治理能力在企业版
- 企业版价格不公开,需要向厂商询价
- 自托管需自行维护网关可用性与升级
适合谁用
更适合
- 要统一多模型入口的平台团队
- 给多个 Agent 做预算与限流的团队
- 需要自托管模型网关的工程团队
不太适合
- 只用一家模型、无需路由的项目
- 希望开箱即用、不做运维的小团队
- 需要企业级 SSO 但预算有限
同类对比
4 个同类| 产品 | 形态 | 价格口径 | 开源 | 地区 |
|---|---|---|---|---|
| LiteLLM Berri AI · 本页 | 开源网关 + 代理 | 开源版免费,企业版需询价 | 是 | 海外 |
| Chainlink for Agents Chainlink | 链上执行网关与 Agent Skills | Beta / 具体请求和链上费用以官方规则为准 | 是 | 海外 |
| Browserbase Browserbase | 云浏览器 API | 免费档起,付费按浏览器时长计费,$0.12/browser hr 起 | 否 | 海外 |
| AgentQL Tiny Fish | 查询语言 + SDK | 免费试用 300 次调用,Starter 含每月 50 次免费调用 | 否 | 海外 |
| AgentMail AgentMail | 邮件 API 平台 | 免费档 $0,Developer $20/月,Startup $200/月 | 否 | 海外 |
按分类、形态和接入方式挑出最接近的同类,价格口径以各自详情页为准。
常见问题
4 条LiteLLM 支持哪些模型供应商?
覆盖 OpenAI、Anthropic、Gemini、Bedrock 与本地模型等主流来源,模型统一经网关调用,差异由网关适配处理。
LiteLLM 如何控制 Agent 成本?
按 key、团队或模型维度设置预算与速率限制,超出即拦截,调用记录可用于后续计费和审计。
LiteLLM 开源版和企业版有什么区别?
开源版免费,可自托管;SSO、RBAC 与审计日志等治理能力放在企业版,具体价格以官网价格页为准。
LiteLLM 可以自托管部署吗?
可以,支持 Docker、Python 包和 SDK 集成,也能用云端托管;网关运行在自己的环境里,密钥由自己掌握。
网站入口
3 个使用提醒
SSO、RBAC、审计日志等治理能力在企业版,价格需询价。