Litellm Proxy MCP

LiteLLM MCP服务器桥

一个模型上下文协议（MCP）服务器，将Antigravity连接到您部署的LiteLLM实例。

特性

此MCP服务器提供以下工具：

• 聊天完成 -使用LiteLLM实例中的任何模型生成聊天完成
• 完成 -使用旧端点生成文本补全
• list_models -列出所有可用型号
• 健康检查 -检查LiteLLM实例运行状况
• 创建嵌入 -生成嵌入
• 模型信息 -获取特定型号的详细信息
• 创建图像 -使用实例中可用的模型生成图像
• create_speech -从文本生成语音音频（TTS）
• 重排序 -根据搜索查询对文档进行重新排序
• 密钥生成 -生成新的LiteLLM代理API密钥（管理功能）
• key_info -获取LiteLLM代理API密钥的详细信息和支出信息（管理功能）

设置

1.配置反重力

将以下内容添加到您的反重力MCP配置中。这将使用 npx 动态获取并运行已发布包的最新版本。

{
  "mcpServers": {
    "litellm": {
      "command": "npx",
      "args": [
        "-y",
        "litellm-mcp-server@latest"
      ],
      "env": {
        "LITELLM_BASE_URL": "https://your-litellm-url",
        "LITELLM_API_KEY": "your-api-key-here"
      }
    }
  }
}

2.设定你的秘密

替换 your-litellm-url 和 your-api-key-here 在配置中使用实际LiteLLM-BaseURL和API密钥。

用法示例

配置后，您可以在Antigravity中使用MCP工具：

聊天补全

Use the chat_completion tool to generate a response using gpt-4

列出型号

Use the list_models tool to see what models are available

健康检查

Use the health_check tool to verify the LiteLLM instance is running

环境变量

• LITELLM_BASE_URL -您的LiteLLM实例URL
• LITELLM_API_KEY -用于身份验证的LiteLLM API密钥

故障排除

服务器无法启动

1. 确保已安装Node.js： node --version
2. 检查是否安装了依赖项： npm install
3. 验证Antigravity配置中的脚本路径是否正确
4. 检查您的API密钥是否有效

连接错误

1. 验证您的LiteLLM实例是否可访问： curl https://your-litellm-url/health
2. 检查您的API密钥是否具有正确的权限
3. 确保您的网络允许连接到LiteLLM实例

工具未显示

1. 添加MCP服务器配置后重新启动Antigravity
2. 检查Antigravity日志中是否有任何错误消息
3. 验证JSON配置是否有效

建筑

MCP服务器充当网桥：

Antigravity ←→ MCP Server (this script) ←→ LiteLLM Instance

Antigravity的所有请求都会通过适当的身份验证标头转发到您的LiteLLM实例。

许可证

麻省理工学院