Litellm MCP Server

LiteLLM MCP服务器

一个用TypeScript编写的强大的模型上下文协议（MCP）服务器，实现了Claude AI和LiteLLM代理实例之间的无缝集成。通过Claude的界面直接管理模型、API密钥和监控。

🚀 特性

• 模型管理：列出并检查LiteLLM实例中的所有可用模型
• API密钥生成：使用自定义别名创建虚拟API密钥以进行速率限制和监视
• 用户管理：组织和管理用户及其关联的API密钥
• 支出跟踪：监控API使用情况和每个用户的成本
• Docker原生：作为具有安全stdio通信的容器化服务运行
• 无缝集成：通过MCP协议直接与VSCode和Claude配合使用

📋 先决条件

• Node.js 18+或Docker和Docker Compose
• 正在运行LiteLLM代理实例（v1.79.0+）
• PostgreSQL数据库（用于LiteLLM）
• Redis实例（用于缓存/速率限制）
• 支持MCP扩展的VSCode

🔧 安装

1.克隆存储库

git clone https://github.com/ArtemisAI/LiteLLM-MCP-Server.git
cd LiteLLM-MCP-Server

2.安装依赖项（用于本地开发）

npm install
npm run build

3.配置环境

复制示例配置并使用您的凭据进行更新：

cp .vscode/mcp.json.example .vscode/mcp.json

编辑 .vscode/mcp.json 使用您的LiteLLM代理详细信息：

对于Docker部署：

{
  "servers": {
    "litellm-manager": {
      "type": "stdio",
      "command": "docker",
      "args": ["exec", "-i", "litellm_mcp", "node", "dist/index.js"],
      "env": {
        "LITELLM_API_BASE": "http://localhost:4001",
        "LITELLM_MASTER_KEY": "sk-your-api-key",
        "DEBUG": "false"
      }
    }
  }
}

对于本地Node.js部署：

{
  "servers": {
    "litellm-manager": {
      "type": "stdio",
      "command": "node",
      "args": ["/path/to/LiteLLM-MCP-Server/dist/index.js"],
      "env": {
        "LITELLM_API_BASE": "http://localhost:4001",
        "LITELLM_MASTER_KEY": "sk-your-api-key",
        "DEBUG": "false"
      }
    }
  }
}

4.构建Docker镜像（可选）

docker build -t litellm_mcp:latest .

5.运行容器（可选）

docker run -d --name litellm_mcp \
  --network litellm_litellm_network \
  -e LITELLM_API_BASE=http://litellm-llm-1:4000 \
  -e LITELLM_MASTER_KEY=sk-your-key \
  litellm_mcp:latest sleep infinity

6.在VSCode中启用

配置后，MCP服务器将自动连接 .vscode/mcp.json.VCode将发现并注册Claude中可用的以下工具：

🛠️ 可用工具

list_models

列出LiteLLM实例中的所有可用型号。

Claude中的用法：

"List the models available in LiteLLM"

退货： 带有元数据的模型ID数组

______________________________________________________________________

获取模式信息

检索特定型号的详细信息。

参数：

• model （string）：型号名称/ID

Claude中的用法：

"Tell me about the Gem-2.5-flash model"

退货： 模型元数据，包括所有者和创建信息

______________________________________________________________________

创建虚拟密钥

为速率限制和用户管理生成新的虚拟API密钥。

参数：

• key_alias （string）：密钥的友好名称
• user_id （string）：要关联的用户标识符

Claude中的用法：

"Create an API key called 'production-app' for user 'app-001'"

退货： 具有完整配置的新API密钥

______________________________________________________________________

get_spend

监控特定用户的API使用情况和成本。

参数：

• user_id （string）：要检查支出的用户

Claude中的用法：

"Show me the spend for user 'app-001'"

退货： 使用统计和成本明细

______________________________________________________________________

📁 项目结构

LiteLLM-MCP-Server/
├── src/
│   └── index.ts                 # Main TypeScript MCP server implementation
├── dist/                        # Compiled JavaScript (generated)
│   └── index.js
├── .vscode/
│   ├── mcp.json.example         # Configuration template
│   ├── mcp.docker.json          # Docker configuration template
│   └── mcp.json                 # User config (gitignored)
├── .github/
│   └── FUNDING.yml              # GitHub sponsorship config
├── tests/                       # Test plans and documentation
│   ├── TEST_PLAN.md            # Comprehensive testing strategy
│   └── DOCKER_VS_NPM.md        # Architecture decision docs
├── README.md                    # This file
├── CONTRIBUTING.md              # Contribution guidelines
├── SECURITY.md                  # Security policy
├── DEPLOYMENT.md                # Deployment guide
├── LICENSE                      # MIT License
├── .gitignore                   # Git ignore rules
├── package.json                 # Node.js package metadata
├── tsconfig.json                # TypeScript configuration
└── Dockerfile                   # Container build config

🔐 安全

此项目处理敏感信息，包括API密钥和数据库凭据。安全至关重要。

关键指导方针

1. 永远不要泄露秘密 -使用 .vscode/mcp.json.example 作为模板
2. 使用环境变量 -所有敏感数据仅通过env变量
3. 定期轮换凭据 -定期更新密钥和密码
4. 限制网络访问 -仅在安全网络上运行
5. 禁用调试模式 -设置 DEBUG=false 生产中

报告安全问题

如果发现安全漏洞， 不要公开问题。请发送电子邮件至： daniel@artemis-ai.ca

看 安全.md 了解详细的安全策略和程序。

🤝 贡献

我们欢迎捐款！请看 贡献.md 用于：

• 代码样式和标准
• 测试要求
• 拉取请求流程
• 问题报告

贡献者快速入门

# Fork and clone
git clone https://github.com/YOUR_USERNAME/LiteLLM-MCP-Server.git
cd LiteLLM-MCP-Server

# Create feature branch
git checkout -b feature/your-feature

# Make changes and test
# ... your code ...

# Submit pull request

💰 支持项目

如果你觉得这个项目有用，可以考虑支持它：

• ⭐ GitHub上的明星 -帮助他人发现项目
• 💬 贡献 -提交问题并拉取请求
• 🤝 赞助商 -支持持续发展

- - Ko-fi

📝 许可证

此项目根据MIT许可证获得许可-请参阅 许可证 文件以获取详细信息。

MIT许可证摘要

✅ 商业用途\ ✅ 修改\ ✅ 分布\ ✅ 私人使用\ ⚠️ 责任\ ⚠️ 保修

🔗 相关项目

• 文学硕士 -LLM API的代理服务器
• 模型上下文协议 -人工智能通信的开放标准
• 克劳德 -人工智能助手Anthropic

📚 文档

• 安装指南 -完整部署说明
• 安全策略 -安全指南和漏洞报告
• 贡献指南 -如何为项目做出贡献

📞 支持

• 📖 文档: 部署.md
• 🐛 问题:
• 💬 讨论:
• 📧 电子邮件: daniel@artemis-ai.ca
• 🔗 网站：www.artemis-ai.ca

🙏 致谢

• 文学硕士 -LLM API的优秀代理服务器
• Anthropic -Claude AI和MCP协议
• OpenAI -ChatGPT和基础模型

______________________________________________________________________

由以下材料制成❤️ 通过 ArtemisAI

*最后更新日期：2025年11月6日*