智能数据整理器 - Smart Data Harvester
📖 技能描述
智能数据整理器是一个专为OpenClaw生态系统设计的自动化数据整理、处理和导出工具。支持多种数据源和导出格式，专为中国市场优化，提供全中文界面和文档。
🚀 核心功能
- 多数据源适配器：Web抓取、API调用、数据库查询、文件读取
- 智能数据处理管道：数据清洗、转换、聚合、分析
- 多种导出格式：JSON、CSV、Excel、SQLite、PDF报告
- 定时任务调度：支持定时自动执行数据整理任务
- OpenClaw无缝集成：原生OpenClaw技能，可通过ClawHub安装
- 中文界面和文档：全中文支持，适合中国用户
📦 安装方法
通过ClawHub安装（推荐）
npx clawhub install data-harvester手动安装
- 克隆仓库：
git clone https://gitee.com/du-xuegong/openclaw-wealth-guide.git
cd openclaw-wealth-guide- 安装依赖：
uv pip install -r requirements.txt- 在OpenClaw中配置技能
🛠️ 使用方法
在OpenClaw对话中使用
# 激活技能
/技能 数据整理器
# 示例命令
整理网页 https://example.com 保存为 data.json
定时整理 https://api.example.com/data 每天 09:00
导出数据为 Excel 报表Python API使用
from data_harvester import DataHarvester
# 创建数据整理器实例
harvester = DataHarvester()
# 配置数据源
config = {
"sources": [
{
"type": "web",
"url": "https://example.com/data",
"extract_rules": {
"title": "h1",
"content": ".main-content"
}
}
],
"processing": {
"clean_html": True,
"remove_duplicates": True
},
"export": {
"format": "json",
"path": "output/data.json"
}
}
# 执行数据整理
result = harvester.harvest(config)
print(f"整理完成：{result['stats']['total_records']}条记录")⚙️ 配置选项
数据源配置
支持多种数据源类型：
- Web适配器：网页抓取，支持CSS选择器、XPath
- API适配器：REST API调用，支持认证和参数
- 数据库适配器：MySQL、PostgreSQL、SQLite查询
- 文件适配器：CSV、Excel、JSON文件读取
处理器配置
- 数据清洗：去重、过滤、格式化
- 数据转换：类型转换、计算字段
- 数据聚合：分组统计、汇总计算
- 数据验证：规则验证、质量检查
导出器配置
- JSON导出：结构化数据输出
- CSV导出：表格数据输出
- Excel导出：多工作表Excel文件
- SQLite导出：本地数据库存储
- PDF报告：格式化报告生成
⏰ 定时任务
支持APScheduler定时任务调度：
from data_harvester.scheduler import Scheduler
scheduler = Scheduler()
scheduler.add_job(
"daily_report",
"cron",
hour=9,
minute=0,
config={
"sources": [...],
"export": {"format": "excel", "path": "reports/daily.xlsx"}
}
)
scheduler.start()📁 项目结构
openclaw-wealth-guide/
├── src/data_harvester/
│ ├── adapters/ # 数据源适配器
│ ├── processors/ # 数据处理器
│ ├── exporters/ # 数据导出器
│ ├── scheduler/ # 任务调度器
│ └── openclaw_integration/ # OpenClaw集成
├── tests/ # 测试套件
├── examples/ # 使用示例
├── skill.json # OpenClaw技能清单
└── requirements.txt # Python依赖❓ 常见问题
Q: 技能安装后如何启用？
A: 在OpenClaw对话中使用 /技能 数据整理器 命令激活技能。
Q: 支持哪些数据源？
A: 支持Web页面、API接口、数据库和文件四种数据源类型。
Q: 需要哪些Python依赖？
A: 主要依赖 requests, beautifulsoup4, pandas, APScheduler 等，完整列表见 requirements.txt。
Q: 如何设置定时任务？
A: 可以通过Python API设置，或在OpenClaw中使用“定时整理”命令。
Q: 导出的数据格式有哪些？
A: 支持JSON、CSV、Excel、SQLite和PDF格式。
📄 许可证
本项目采用MIT许可证。详见LICENSE文件。
📞 支持与联系
- 作者：dxg
- 邮箱：852621787@qq.com
- Gitee：https://gitee.com/du-xuegong
- GitHub：https://github.com/dxg852621787
- 问题反馈：https://gitee.com/du-xuegong/openclaw-wealth-guide/issues
💰 定价与版本
版本
- 基础版：¥299 - 基础数据整理功能
- 专业版：¥899 - 高级功能+定时任务+技术支持
- 企业版：¥2,999 - 定制开发+优先支持+培训服务
购买方式
- 通过ClawHub技能商店购买
- 联系作者直接购买
- 企业定制服务咨询
智能数据整理器 - 让数据整理变得简单高效！ 🚀