数据质量分析平台
基于模型上下文协议（MCP）集成构建的全面数据质量分析和验证平台。该项目使用高级分析和Great Expectations框架提供智能数据分析、质量规则生成和验证功能。
🎯 概述
该平台提供了一个完整的数据质量解决方案，包括：
- 智能数据分析：使用自定义算法和ydata分析进行高级数据分析
- 质量规则生成：自动生成与远大前程兼容的验证规则
- 多维质量评估：覆盖所有6个数据质量维度
- MCP集成：与Claude Desktop和其他MCP客户端无缝集成
- 全面验证：根据生成的期望套件进行数据验证
🏗️ 建筑
data-quality/
├── data-quality-mcp-server/ # Main MCP server application
│ ├── src/ # Source code
│ │ ├── server.py # Main MCP server implementation
│ │ └── data_quality/ # Core data quality modules
│ │ ├── profiler.py # Advanced data profiling
│ │ ├── rule_generator.py # Quality rule generation
│ │ └── validator.py # Data validation engine
│ ├── docs/ # Documentation
│ ├── examples/ # Sample data and examples
│ ├── tests/ # Test suite
│ └── requirements.txt # Python dependencies
└── README.md # This file🚀 快速开始
先决条件
- Python 3.8+
- Git
安装
- 克隆存储库
git clone https://github.com/aCuriousProgrammer/data-quality-mcp-server.git
cd data-quality-mcp-server- 设置虚拟环境
python -m venv venv
source venv/bin/activate # On Windows: venv\Scripts\activate- 安装依赖项
pip install -r requirements.txt- 配置Claude桌面
- 复制 claude_config.template.json 向 claude_config.json - 更新配置文件中的路径 - 重新启动克劳德桌面
启动服务器
# For Claude Desktop (stdio transport)
./run_stdio_server.sh
# For HTTP transport
python run_server.py --port 8000📊 核心功能
1. 数据分析
- 全面的数据分析：数据结构、统计数据和质量指标的详细分析
- 质量问题检测：自动识别缺失值、异常值、重复和不一致
- 统计分析：先进的统计指标，包括偏度、峰度和分布分析
- 模式识别：检测数据模式、格式和异常
2. 质量规则生成
- 多维规则：涵盖所有6个数据质量维度：
- 完整性：空值检查，缺失数据检测 - 准确度：范围验证、异常值检测、统计准确性 - 一致性：数据类型一致性、格式标准化 - 有效性：格式验证、业务规则合规性 - 独特性：重复检测，密钥唯一性 - 及时性：数据新鲜度、时间验证
- 远大期望整合：自动生成与GE兼容的期望套件
- 基于置信度的过滤：按置信阈值筛选的规则
- 自定义业务规则：支持特定于域的验证规则
3. 数据验证
- 期望套件验证：根据生成的规则进行全面验证
- 详细报告：带有详细指标的成功/失败分析
- 质量评分：总体数据质量评分和建议
- 导出功能：HTML和JSON报告生成
4. MCP集成
- Claude桌面支持：与Claude AI助手直接集成
- 基于工具的界面：易于使用的数据质量分析工具
- 资源管理：分析结果和规则的持久存储
- 实时分析：即时反馈和建议
🛠️ 可用工具
分析工具
analyze_data_file(file_path)：全面的基于文件的分析analyze_sample_data(data_rows)：直接数据行分析get_data_profile(data_source)：检索全面的数据配置文件create_comprehensive_profile(file_path, ...)：生成详细的配置文件
规则生成工具
suggest_quality_rules(analysis_results)：生成初始质量规则generate_expectation_suite(analysis_results, ...)：创建高期望套房
验证工具
validate_data_quality(file_path, expectation_suite, ...)：根据规则验证数据
资源访问
schema://current：当前数据架构profile://summary：最新分析结果rules://suggested：建议的质量规则expectations://suite/{suite_name}：特定期望套房validation://results/{validation_name}：验证结果
📈 质量维度
完整性
- 零值检测和分析
- 缺少数据模式标识
- 必填字段验证
- 数据覆盖评估
准确度
- 统计准确性验证
- 异常检测和分析
- 范围和边界验证
- 跨字段一致性检查
一致性
- 数据类型一致性验证
- 格式标准化检查
- 跨数据集一致性
- 时间一致性验证
有效性
- 格式验证（电子邮件、电话等）
- 业务规则合规性
- 域特定验证
- 监管合规检查
独特性
- 重复记录检测
- 主键验证
- 唯一约束检查
- 引用完整性验证
及时性
- 数据新鲜度评估
- 时间模式分析
- 更新频率监测
- 实时数据验证
🔧 配置
环境变量
创建一个 .env 文件在 data-quality-mcp-server 目录：
# API Configuration
ANTHROPIC_API_KEY=your_api_key_here
# Server Configuration
SERVER_HOST=localhost
SERVER_PORT=8000
# Logging Configuration
LOG_LEVEL=INFOClaude桌面配置
更新 claude_config.json 根据您的具体路径：
{
"mcpServers": {
"data-quality-analytics-server": {
"command": "./run_stdio_server.sh",
"args": [],
"env": {},
"cwd": "."
}
}
}📚 文档
🧪 测试
# Run the test suite
cd data-quality-mcp-server
python -m pytest tests/
# Test server functionality
python test_server.py🔒 安全
- 敏感文件排除:
.gitignore排除敏感文件和路径 - 模板配置：提供用于配置的模板文件
- 环境变量：安全处理API密钥和机密
- 路径消毒：文件路径和数据源的验证
🔗 链接
- 仓库: https://github.com/aCuriousProgrammer/data-quality-mcp-server
- 烈爱风云: https://greatexpectations.io/
- ydata分析: https://ydata-profiling.ydata.ai/
- 模型上下文协议: https://modelcontextprotocol.io/
______________________________________________________________________
内置于❤️ 追求卓越的数据质量