设计你的数据
 
一个专门设计的模型上下文协议(MCP)服务器 数据工程师 并且 商业智能专业人士利用无需依赖互联网即可本地运行的AI辅助数据工程技术,转变您的数据管道和商业智能(BI)工作流程。
为何要对数据进行工程化处理?
专为数据工程团队和需要以下功能的商业智能(BI)分析师打造:
- 管道开发 - 构建并测试ETL/ELT转换
- 数据质量保证 - 分析数据源并验证其有效性
- 商业智能 - 创建分析模型和仪表板可视化
- 本地控制 - 在本地保存敏感数据,不依赖于云
🚀 快速入门
初次接触“工程师式数据管理”? 从以下5个基本操作开始:
- 检查数据质量:
"Generate a data quality report for my sales.csv file" - 查找问题:
"Check for null values in the customer_data.csv" - 转换数据:
"Filter the orders.csv for rows where status is 'completed'" - 可视化:
"Create a bar chart showing sales by region from revenue.csv" - 总结:
"Give me a statistical summary of the dataset"
这些涵盖了80%的日常数据工程任务。请查看下方以了解全部功能!
核心能力
🚀 表情符号“🚀”在中文中通常被翻译为“火箭”或直接保留原样作为表情使用,不直接对应具体的中文词汇,但在此处可意译为“火箭发射”或“飞速前进”等,具体根据上下文而定。 文件操作:
read_file- 从本地文件系统读取数据文件write_file- 将处理后的数据写入文件list_files- 浏览并发现数据文件file_info- 获取数据文件的元数据
📊(表格/数据图表) 数据验证与质量:
validate_schema- 根据预期模式验证数据check_nulls- 分析空值和缺失数据模式data_quality_report- 全面的数据质量评估detect_duplicates- 查找可配置匹配规则下的重复记录
🔄 旋转或循环(符号本身无直接中文对应,根据上下文可理解为“旋转”或“循环”等含义) 数据转换:
filter_data- 根据条件过滤数据集aggregate_data- 使用统计函数对数据进行分组和汇总join_data- 使用灵活的连接类型将多个数据集合并pivot_data- 将数据从长格式转换为宽格式clean_data- 清理和标准化数据值
📈 表示“上扬趋势”或“上升趋势”的图表符号。 可视化与分析:
create_chart- 生成柱状图、饼图、折线图、散点图、直方图、箱线图和热力图data_summary- 创建包含统计数据的全面数据集摘要export_visualization- 导出图表和数据为JSON、CSV、HTML、Markdown格式
🌐(表示互联网或网络的符号) API集成:
fetch_api_data- 从REST API检索数据monitor_api- 监控API端点的健康状况和性能batch_api_calls高效执行多个API调用api_auth管理API认证
🔧(扳手,常用于表示修理或技术相关的工具或动作) 公用设施/公共事业:
chain_tools- 依次执行多个工具analyze_schema- 分析并理解数据模式
数据团队快速入门指南
安装
# Option 1: Install from PyPI (recommended)
pip install engineer-your-data
# Option 2: Install from source
git clone https://github.com/eghuzefa/engineer-your-data-mcp.git
cd engineer-your-data-mcp
pip install -e .为您的数据环境进行配置
对于PyPI安装: 添加到您的Claude桌面配置中(claude_desktop_config.json):
{
"mcpServers": {
"engineer-your-data": {
"command": "python",
"args": ["-m", "src.server"],
"env": {
"WORKSPACE_PATH": "/path/to/your/data/workspace"
}
}
}
}对于源代码安装: 添加到您的Claude桌面配置中(claude_desktop_config.json):
{
"mcpServers": {
"engineer-your-data": {
"command": "python",
"args": ["/path/to/engineer-your-data-mcp/src/server.py"],
"env": {
"WORKSPACE_PATH": "/path/to/your/data/workspace"
}
}
}
}数据工程示例
数据质量分析:
"Check the customer data for null values and duplicates"
"Generate a comprehensive data quality report for the sales dataset"
"Validate this CSV file against our customer schema"数据转换:
"Filter the orders data for customers in the US region"
"Aggregate sales data by month and calculate total revenue"
"Join customer data with order data on customer_id"
"Pivot the sales data to show products as columns"可视化与报告:
"Create a bar chart showing revenue by department"
"Generate a summary of the dataset with key statistics"
"Export the sales analysis as an HTML report"API数据集成:
"Fetch customer data from the CRM API"
"Monitor the data pipeline API for health status"
"Authenticate with the analytics API using OAuth"数据团队的架构
Claude Desktop → MCP Protocol → Engineer Your Data → Local Python Environment
↓
pandas + numpy + requests + matplotlib
↓
Local Files + APIs + Data Sources测试与质量
- 161项综合测试 100%通过率
- 支持异步/await 用于高性能操作
- 错误处理 带有详细的日志记录和调试功能
- 类型安全 带有适当的模式验证
# Run all tests
python -m pytest
# Run with coverage
python -m pytest --cov=src
# Run specific tool tests
python -m pytest tests/tools/test_visualization.py可用工具(共17个)
文件操作(4种工具)
| 工具 | 描述 |
|---|---|
read_file | 读取并解析数据文件(CSV、JSON 等) |
write_file | 使用格式选项将数据写入文件 |
list_files | 目录浏览和文件发现 |
file_info | 文件元数据和基本统计信息 |
数据验证(4种工具)
| 工具 | 描述 |
|---|---|
validate_schema | 使用自定义规则进行模式验证 |
check_nulls | 空值分析及模式 |
data_quality_report | 综合质量评估 |
detect_duplicates | 基于灵活匹配的重复检测 |
数据转换(5种工具)
| 工具 | 描述 |
|---|---|
filter_data | 带条件的高级筛选 |
aggregate_data | 分组与统计汇总 |
join_data | 多数据集连接(内连接、外连接、左连接、右连接) |
pivot_data 数据重塑和转置 | |
clean_data 数据清洗和标准化 |
可视化(3种工具)
| 工具 | 描述 |
|---|---|
create_chart | 7种图表类型,支持自定义 |
data_summary | 统计汇总与见解 |
export_visualization | 多格式导出功能 |
API集成(4种工具)
| 工具 | 描述 | |
|---|---|---|
| ------ | ------------- | fetch_api_data |
REST API数据检索 monitor_api | ||
API健康监测 batch_api_calls | ||
高效的大批量API操作 api_auth |
| 认证管理 |
- 数据工程最佳实践 沙盒执行
- - 安全的测试环境以进行转换测试 本地数据控制
- - 在您的基础设施上保存敏感数据 全面测试
- - 所有工具均经过彻底测试和验证 企业安全
- 核心功能无需调用外部API 性能优化
- 异步操作和高效数据处理
与您的技术栈集成
- 与以下功能无缝协作: dbt(在中文语境下,通常直接保留原英文缩写,不直接翻译,但若需解释其含义,可表述为“数据转换工具”或根据具体上下文翻译为相应的中文术语)
- - 用于复杂转换逻辑的开发 Airflow/Prefect(可译为“Airflow/Prefect(工具/系统)”,具体根据上下文选择是否保留原名或进行意译)
- - 集成到现有工作流编排中 Jupyter/Notebooks(通常翻译为“Jupyter 笔记本”或“Jupyter 笔记本系统”)
- - 对数据转换进行原型设计和迭代 商业智能工具(BI Tools)
- - 为Tableau、Power BI等生成数据和可视化图表。 应用程序编程接口(APIs)
- 与REST API和微服务集成
贡献
欢迎数据工程师和商业智能(BI)专业人士加入!请阅读我们的贡献指南,并提交包含新数据连接器、转换功能或BI功能的拉取请求(PRs)。
MCP 注册表 这个服务器在官方上可用模型上下文协议注册表
。
许可证
