Token导航 LogoToken导航

Agents · AI 网关

LiteLLM

统一多模型与 MCP 接入的 AI 网关

LiteLLM 把各家模型、Agent 和 MCP 服务收到一个 key 后面,统一做路由、预算、限流和审计。

Berri AI开源网关 + 代理多模型统一接入与治理开源有 API/SDK核验 verified
统一 API140+ 供应商预算限流MCP

使用判断

可接模型
与直接用各家 SDK 相比,LiteLLM 省掉多供应商适配和成本治理。

状态

verified

开源

价格

开源版免费,企业版需询价

开源 / 许可证以仓库为准

入口

API / GitHub / 自托管

自托管 / 云端托管 / Docker / SDK 集成

API

有 API/SDK

可接第三方模型

形态

开源网关 + 代理

Python / Docker / API

选型结论

适合要给多个 Agent 统一模型入口、做预算和限流的平台团队。开源版免费,可自托管或用云端托管;与直接用各家 SDK 相比,省掉多供应商适配和成本治理。SSO、RBAC、审计日志等治理能力在企业版,价格以官网价格页为准。

定位

AI 网关 / 开源网关 + 代理

适合

要给多个 Agent 统一模型入口、做预算和限流的平台团队

成本口径

开源版免费,企业版需询价

核心能力

统一入口

把各家模型、Agent 和 MCP 服务收到一个 key 下,只需对接一套 OpenAI 兼容接口。

预算限流

按 key、团队或模型维度设置预算与速率限制,让多 Agent 共用模型时成本可控。

多供应商适配

覆盖 OpenAI、Anthropic、Gemini、Bedrock 和本地模型,差异由网关消化。

MCP 支持

把 MCP 服务一并纳入统一入口,Agent 调用工具和模型走同一套鉴权与路由。

典型使用场景

多 Agent 共用

多个 Agent 共用一套模型入口,按团队分配 key 并分别设置预算与限额。

成本治理

把不同供应商的调用统一计费和审计,避免每个项目各自接 SDK 后成本分散。

自托管接入

用 Docker 或 SDK 在自有环境部署网关,模型请求与密钥留在自己侧。

上手步骤

  1. 1

    部署网关

    用 Docker 或 Python 包在自有环境启动代理服务,暴露 OpenAI 兼容接口。

  2. 2

    配置供应商

    填入 OpenAI、Anthropic、Gemini 或 Bedrock 的凭据,模型经网关调用。

  3. 3

    发虚拟 key

    给团队或 Agent 发放独立 key,分别设定预算上限和每分钟请求限制。

  4. 4

    接入 MCP

    把 MCP 服务登记到网关,Agent 调用工具时沿用同一套鉴权与日志。

价格与使用方式

价格口径

开源版免费,企业版需询价

开源状态

开源 / 许可证以仓库为准

API 状态

有 API/SDK

使用入口

API / GitHub / 自托管

运行方式

自托管 / 云端托管 / Docker / SDK 集成

支持平台

Python / Docker / API

常见连接对象

OpenAI / Anthropic / Gemini / Bedrock / 本地模型

所属生态

litellm
查看官方价格页

优点与局限

值得选的地方

  • 一个 OpenAI 兼容入口接多家模型与 MCP 服务
  • 自带预算、限流与路由,便于统一成本治理
  • 开源可自托管,支持 API 与 Docker 部署

先想清楚的地方

  • SSO、RBAC 与审计日志等治理能力在企业版
  • 企业版价格不公开,需要向厂商询价
  • 自托管需自行维护网关可用性与升级

适合谁用

更适合

  • 要统一多模型入口的平台团队
  • 给多个 Agent 做预算与限流的团队
  • 需要自托管模型网关的工程团队

不太适合

  • 只用一家模型、无需路由的项目
  • 希望开箱即用、不做运维的小团队
  • 需要企业级 SSO 但预算有限

同类对比

4 个同类
产品形态价格口径开源地区
LiteLLM

Berri AI · 本页

开源网关 + 代理开源版免费,企业版需询价是海外
Chainlink for Agents

Chainlink

链上执行网关与 Agent SkillsBeta / 具体请求和链上费用以官方规则为准是海外
Browserbase

Browserbase

云浏览器 API免费档起,付费按浏览器时长计费,$0.12/browser hr 起否海外
AgentQL

Tiny Fish

查询语言 + SDK免费试用 300 次调用,Starter 含每月 50 次免费调用否海外
AgentMail

AgentMail

邮件 API 平台免费档 $0,Developer $20/月,Startup $200/月否海外

按分类、形态和接入方式挑出最接近的同类,价格口径以各自详情页为准。

常见问题

4 条

LiteLLM 支持哪些模型供应商?

覆盖 OpenAI、Anthropic、Gemini、Bedrock 与本地模型等主流来源,模型统一经网关调用,差异由网关适配处理。

LiteLLM 如何控制 Agent 成本?

按 key、团队或模型维度设置预算与速率限制,超出即拦截,调用记录可用于后续计费和审计。

LiteLLM 开源版和企业版有什么区别?

开源版免费,可自托管;SSO、RBAC 与审计日志等治理能力放在企业版,具体价格以官网价格页为准。

LiteLLM 可以自托管部署吗?

可以,支持 Docker、Python 包和 SDK 集成,也能用云端托管;网关运行在自己的环境里,密钥由自己掌握。

网站入口

3 个

使用提醒

SSO、RBAC、审计日志等治理能力在企业版,价格需询价。