RAG-MCP管道研究
探索检索增强生成（RAG）和多云处理（MCP）服务器集成的综合研究项目 免费和开源模型.
项目概述
该存储库是一个结构化的学习和研究路径，用于了解如何通过MCP服务器将大型语言模型（LLM）与外部服务集成，重点是会计软件集成（如QuickBooks）等实际业务应用程序。
🌟 主要特点
- 无需支付API密钥 -使用免费的拥抱脸模型
- 在本地运行所有内容 没有外部依赖
- 全面的分步文档 适合初学者
- 实例 使用工作代码
研究模块
模块0： 先决条件
在深入特定领域之前，先打下坚实的基础：
- 编程与工具：Python、Git/GitHub、Docker
- 基本概念：机器学习、RESTful API、云服务
- AI&LLM基础：了解变压器、RAG和快速工程
- 使用免费模型设置开发环境
模块1：人工智能建模和LLM集成
- 了解不同的LLM架构和功能
- 与各种LLM提供商的集成方法（Hugging Face、开源模型）
- 针对特定领域任务的微调策略
- 评估指标和性能优化
模块2：人工智能的托管和部署策略
- 可扩展的AI应用基础设施
- 成本优化技术
- 模型服务选项（无服务器、基于容器、专用实例）
- LLM应用的监控和可观察性
模块3：深入了解MCP服务器
- MCP服务器的架构和组件
- 为外部服务集成构建安全的API网关
- 身份验证和授权模式
- 命令执行协议和标准化
模块4：API集成与命令执行
- 与业务软件API（QuickBooks等）集成
- 数据转换和规范化
- 错误处理和弹性策略
- 测试和验证方法
模块5:RAG（检索增强生成）和替代策略
- 矢量数据库的选择与优化
- 文件处理管道
- 混合检索方法
- LLM的替代增强策略
项目目标
- 全面了解RAG和MCP服务器概念
- 构建与流行商业软件的原型集成
- 开发一个基于人工智能的数据输入和处理框架
- 为未来的实施创建文档和最佳实践
入门指南
- 将此存储库克隆到本地计算机
git clone https://github.com/your-username/rag-mcp-pipeline-research.git
cd rag-mcp-pipeline-research- 运行安装脚本以准备您的环境
# Navigate to the project directory
python src/setup_environment.py- 激活虚拟环境
# On Windows
venv\Scripts\activate
# On macOS/Linux
source venv/bin/activate- 从开始 模块0：先决条件
- 按顺序完成每个模块的进度
- 完成每个部分的实践练习
为什么是免费模型？
该项目有意使用Hugging Face的免费开源模型，而不是像OpenAI这样的商业API，原因有几个：
- 无障碍 -任何人都可以在没有经济障碍的情况下跟随
- 教育价值 -更好地理解模型在内部是如何工作的
- 隐私 -所有处理都在您的机器上本地进行
- 灵活性 -更容易根据特定需求定制和微调模型
- 面向未来 -技能转移到任何模式，不与特定提供者挂钩
对于生产应用程序，您可以选择使用商业API来获得更好的性能，但这里学到的概念普遍适用。
许可证
麻省理工学院