Excelmcpserver

MCP Excel查询测试框架

这是一个用于测试大模型调用MCP Excel服务器进行数据查询准确性的自动化测试框架。

🚀 快速开始

1. 环境配置

# 运行配置脚本
python setup.py

# 配置API密钥
编辑 test_config.json 文件，填入你的大模型API密钥

2. 准备数据

将你的Excel文件放入 excel_files/ 目录，并确保对应的schema文件存在。

3. 运行测试

# Linux/Mac
./start_test.sh

# Windows
start_test.bat

# 或直接运行
python run_tests.py

📁 文件结构

├── server_3.py              # MCP服务器主文件
├── mcp_test_framework.py    # 测试框架核心
├── run_tests.py            # 测试运行脚本
├── setup.py                # 环境配置脚本
├── test_config.json        # 测试配置文件
├── test_cases.json         # 测试用例定义
├── excel_files/            # Excel数据文件目录
├── reports/               # 测试报告目录
├── logs/                  # 日志文件目录
└── README.md              # 本文件

⚙️ 配置说明

test_config.json

• llm_api_key: 大模型API密钥（必填）
• llm_model: 使用的大模型
• server_path: MCP服务器文件路径
• excel_files_path: Excel文件目录
• test_cases_file: 测试用例文件路径

测试用例格式

{
  "id": "test_001",
  "description": "测试描述",
  "natural_query": "自然语言查询",
  "expected_result_type": "data|aggregation|count",
  "expected_tables": ["表名1", "表名2"],
  "expected_columns": ["列名1", "列名2"],
  "validation_rules": {
    "min_rows": 1,
    "max_rows": 100,
    "contains_keyword": "关键词"
  },
  "difficulty": "easy|medium|hard",
  "category": "basic|filter|aggregation|complex"
}

📊 测试报告

测试完成后，会在 reports/ 目录下生成详细的测试报告，包括：

• 总体统计信息
• 按难度和类别的统计
• 详细的测试结果
• 性能指标

🔧 高级配置

支持的大模型API

• Claude (Anthropic)
• GPT (OpenAI)
• 其他兼容OpenAI API的模型

自定义测试用例

编辑 test_cases.json 文件，添加你的测试场景。

性能调优

• 调整 max_concurrent_tests 控制并发数
• 调整 test_timeout 设置超时时间

🆘 故障排除

常见问题

1. MCP服务器连接失败: 检查server_3.py路径是否正确
2. API调用失败: 验证API密钥是否有效
3. Excel文件读取失败: 确认文件路径和权限

日志文件

查看 logs/mcp_test.log 获取详细的错误信息。

📞 技术支持

如遇问题，请检查：

1. Python版本 >= 3.8
2. 所有依赖包已安装
3. 配置文件格式正确
4. Excel文件可访问

Happy Testing! 🎉