集成扩散RAG MCP
将扩散模型与检索增广生成和多约束提示相结合，用于多模态内容生成
______________________________________________________________________
概述
该项目整合 扩散模型, 检索增强生成（RAG），以及 多约束提示（MCP） 构建统一的多模式内容生成系统。\ 它结合了 *图像生成、文本检索和自适应约束控制* 以生成连贯和高质量的视觉和文本输出。
______________________________________________________________________
主要特点
- 基于扩散的图像生成 –使用来自拥抱面的稳定扩散管道
diffusers图书馆。 - 检索增强生成（RAG） –使用FAISS或Chroma矢量数据库检索上下文相关信息。
- 多约束提示（MCP） –根据用户定义的约束动态调整生成参数。
- 文本+图像嵌入 –电源由
transformers和sentence-transformers. - 评估指标 –包括FID、CLIPScore和其他视觉/文本指标。
- 交互式用户界面 –基于Streamlit的前端，便于实验和可视化。
______________________________________________________________________
结构：
integrated_diffusion_rag_mcp/
│
├── README.md
├── requirements.txt
├── setup.py
├── .env
├── config.yaml # Global config (paths, model names, constraints, API keys)
│
├── data/
│ ├── raw/ # Unprocessed datasets
│ ├── processed/ # Tokenized, preprocessed datasets
│ ├── embeddings/ # Vectorized data (CLIP/BERT)
│ ├── metadata/ # Captions, annotations, indexes
│ ├── retrieval_index/ # FAISS / Chroma persistent stores
│ └── examples/ # Example multimodal prompts for demos
│
├── models/
│ ├── __init__.py
│ │
│ ├── diffusion/
│ │ ├── base_diffusion.py # Core diffusion pipeline (e.g., Stable Diffusion)
│ │ ├── controlnet_adapter.py # Optional ControlNet support
│ │ ├── unet_config.py
│ │ └── diffusion_pipeline.py # Combined RAG + Diffusion generation logic
│ │
│ ├── retrieval/
│ │ ├── embedder.py # Embedding model (CLIP, BERT)
│ │ ├── retriever.py # Dense / hybrid retriever
│ │ ├── index_builder.py # Build FAISS/Chroma index
│ │ └── reranker.py # Optional cross-encoder reranker
│ │
│ ├── constraints/
│ │ ├── constraint_manager.py # Manages all constraints dynamically
│ │ ├── factuality_checker.py # Checks knowledge-grounded correctness
│ │ ├── style_controller.py # Controls tone, art style, etc.
│ │ ├── ethical_filter.py # Filters NSFW or bias-prone outputs
│ │ └── diversity_controller.py # Promotes visual/textual diversity
│ │
│ ├── fusion/
│ │ ├── multimodal_fuser.py # Combines text+image representations
│ │ └── attention_bridge.py # Optional transformer-based fusion
│ │
│ ├── multimodal_generator.py # Central model integrating RAG + Diffusion + MCP
│ ├── prompt_constructor.py # Dynamically builds multi-constraint prompts
│ └── evaluator.py # Evaluates multimodal outputs (BLEU, CLIPScore, FID, CSR)
│
├── pipelines/
│ ├── text_generation.py # Text-only RAG + constraints → text
│ ├── image_generation.py # RAG + diffusion + constraints → image
│ ├── multimodal_generation.py # Unified multimodal generation
│ ├── evaluation_pipeline.py # Runs evaluation metrics end-to-end
│ └── realworld_demo_pipeline.py # For real-world scenario demos
│
├── training/
│ ├── dataset_loader.py # Unified loader for text, image, multimodal data
│ ├── fine_tuning.py # Fine-tuning CLIP / ControlNet
│ ├── loss_functions.py
│ ├── train_config.yaml
│ └── trainer.py # Handles model training loops
│
├── experiments/
│ ├── configs/
│ │ ├── ablation_rag.yaml # Config for RAG-only test
│ │ ├── ablation_diffusion.yaml # Config for Diffusion-only test
│ │ ├── full_model.yaml # Config for full RAG+Diffusion+MCP
│ │ └── constraint_sweep.yaml # Sweep over constraints weights
│ │
│ ├── results/
│ │ ├── metrics_logs.csv
│ │ ├── evaluation_plots/
│ │ └── comparison_tables/
│ │
│ ├── run_ablation.py # Runs ablation studies automatically
│ └── run_experiments.py # Master script for reproducible results
│
├── utils/
│ ├── config_loader.py
│ ├── logging_utils.py
│ ├── visualization.py # Plots + Streamlit visualizations
│ ├── metrics.py # BLEU, FID, CLIPScore, CSR, etc.
│ ├── prompt_utils.py
│ ├── data_utils.py
│ └── timer.py
│
├── evaluation/
│ ├── metrics_reporter.py # Generate tables, LaTeX, CSV outputs
│ ├── qualitative_examples.py # Side-by-side visual comparisons
│ ├── human_eval.py # Human evaluation setup (optional)
│ └── evaluation_dashboard.py # Streamlit dashboard for evaluation
│
├── frontend/
│ ├── app.py # Streamlit / Gradio front-end
│ ├── components/
│ │ ├── prompt_ui.py
│ │ ├── image_display.py
│ │ ├── constraint_controls.py
│ │ └── evaluation_viewer.py
│ └── static/
│ └── css/
│
├── notebooks/
│ ├── 01_data_exploration.ipynb
│ ├── 02_model_integration.ipynb
│ ├── 03_constraint_tuning.ipynb
│ ├── 04_demo_generation.ipynb
│ ├── 05_evaluation_visuals.ipynb
│ └── 06_realworld_case_study.ipynb
│
└── tests/
├── test_retrieval.py
├── test_diffusion_integration.py
├── test_constraints.py
├── test_evaluator.py
├── test_multimodal_pipeline.py
└── test_end_to_end.py______________________________________________________________________
屏幕截图：
接口：
输出：
______________________________________________________________________
安装
1️. 克隆存储库
git clone https://github.com/KhotNoorin/integrated-diffusion-rag-mcp-ThesisCodeBase.git
cd integrated_diffusion_rag_mcp2️. 创建虚拟环境（推荐）
python -m venv .venv
.\.venv\Scripts\activate3️. 安装依赖项
如果你想要Python 3.13+的最新兼容版本：
pip install -r requirements.txt或者以可编辑（开发）模式安装项目：
pip install -e .用法
运行前端应用程序
streamlit run frontend/app.py或者作为Python模块运行
python -m frontend.app一旦启动，您可以：
- 输入文本提示
- 调整生成约束（例如，最大令牌、创造力）
- 生成多模式输出（图像+文本）
- 交互式查看评估结果
使用的技术
- Python 3.13
- PyTorch、扩散器、变压器
- FAISS、ChromaDB
- 流光灯/渐变
- 熊猫，NumPy，Matplotlib
- Torchmetrics，Scikit图像
开发人员说明
- 适用于Windows、macOS和Linux
- 完全支持CPU和CUDA GPU加速
- 模块化设计——可通过新的RAG回收器或扩散主干轻松扩展
- 对于英特尔优化，您可以在Python 3.13支持可用后为pytorch添加英特尔扩展
工作流示例
- 提供提示（例如，“日落时的未来城市天际线”）
- 调整侧栏中的MCP参数：
- 最大令牌长度 - 创造力/温度 - 约束权重
- 模型：
- 使用RAG检索上下文相关的文本或图像嵌入 - 应用MCP来强制发电约束 - 将处理后的提示馈送到扩散模型以进行最终生成
- 输出：
- 生成的图像 - 文本摘要或说明 - FID和CLIPScore等评估指标
评估
您可以使用以下方法评估生成的样本：
python-m评估.run_metrics
支持的指标：
- FID（弗雷歇初始距离）
- CLIPScore
- 相似度
- 人员评估报告（Excel通过openpyxl）
______________________________________________________________________
致谢
构建使用：
- 拥抱面部扩散器
- 变形金刚
- FAISS
- 溪流
______________________________________________________________________
作者
努林·科特
GitHub：KhotNoorin
______________________________________________________________________