Myinvois MCP Rag

MyInvois MCP RAG

用于抓取和索引MyInvois SDK文档的端到端管道。 真相来源：https://sdk.myinvois.hasil.gov.my

特性

• 生成型RAG：使用可配置的LLM（默认为Gemini）提供基于文档的智能答案。
• MCP 服务器：实现模型上下文协议（MCP），用于与Claude Desktop、Cursor和其他AI客户端进行本地集成。
• 基于网站地图的报废：使用自动发现和清理内容 trafilatura.
• 变化检测：通过内容哈希实现高效的增量更新。
• FastAPI搜索：用于自定义集成的标准REST接口。

项目结构

data/               # Local cache for raw and processed docs (gitignored)
sample_data/        # Tiny synthetic snapshot for structure reference
scripts/            # Orchestration scripts
  sync_docs.py      # Main script to scrape and index
src/
  mcp/              # MCP Server implementation
  api/              # FastAPI service
  indexer/          # LlamaIndex & Qdrant logic
  scraper/          # Scraping pipeline
  common/           # Configuration & Shared utilities
.env                # API Keys & Local settings
docker-compose.yml  # Local Qdrant setup
requirements.txt    # Python dependencies
qdrant_storage/     # Local Qdrant data (gitignored)

安装说明

1.先决条件

• Python 3.9+
• Docker（适用于Qdrant）
• API密钥用于您选择的LLM提供商（Gemini/OpenAI/Anthopic）或本地Ollama设置

2.安装并启动（稍后重新生成）

pip install -r requirements.txt
docker-compose up -d
# Run once to pull documentation
$env:PYTHONPATH = "."; python scripts/sync_docs.py

完整数据在本地生成。这封信是写给 data/ 和 qdrant_storage/，这些都是不容忽视的。下面包含一个微小的合成样品 sample_data/ 以供参考。要稍后刷新，请重新运行相同的命令（如果需要，请先启动Qdrant）。

3.使用方式

A.MCP模式（推荐用于AI应用程序）

将此系统直接集成到您的AI助手（例如Cline）中。将此添加到您的 mcp_config.json:

{
  "mcpServers": {
    "myinvois-mcp-rag": {
      "command": "python",
      "args": ["C:/path/to/MyInvois MCP RAG/src/mcp/server.py"],
      "env": {
        "PYTHONPATH": "C:/path/to/MyInvois MCP RAG",
        "GOOGLE_API_KEY": "your_key_here"
      }
    }
  }
}

B.API模式（用于REST/Copilot聊天）

启动FastAPI服务器：

$env:PYTHONPATH = "."; python src/api/main.py

• 提问Q&A: GET /ask?q=How do I validate a TIN?
• 搜索文档: GET /search?q=login token

4.API示例

搜索：

curl "http://localhost:8000/search?q=invoice%20validation"

示例响应：

{
  "query": "invoice validation",
  "results": [
    {
      "text": "...snippet...",
      "source_url": "https://sdk.myinvois.hasil.gov.my/...",
      "score": 0.78,
      "metadata": { "file_name": "...", "url": "...", "title": "..." }
    }
  ],
  "answer": null,
  "processing_time_ms": 123.45
}

问：

curl "http://localhost:8000/ask?q=What%20is%20MyInvois%3F"

示例响应：

{
  "query": "What is MyInvois?",
  "results": [
    {
      "text": "...snippet...",
      "source_url": "https://sdk.myinvois.hasil.gov.my/...",
      "score": 0.81,
      "metadata": { "file_name": "...", "url": "...", "title": "..." }
    }
  ],
  "answer": "...synthesized answer...",
  "processing_time_ms": 156.12
}

5.型号配置

设置这些 .env 切换提供商：

• LLM_PROVIDER: gemini | openai | anthropic | ollama
• LLM_MODEL：提供商特定的型号名称（例如。， gpt-4o-mini)
• EMBEDDING_PROVIDER: fastembed | openai | ollama
• EMBEDDING_MODEL：提供商特定的嵌入模型（例如。， text-embedding-3-small)

6.日程安排（可选）

GitHub操作（手动）：工作流程 .github/workflows/monthly-sync.yml 仅手动操作，默认情况下禁用工件上传。如果在公共仓库中启用工件上传，则这些工件是公共的。

Windows任务计划程序：

# Action: Start a program
# Program/script: python
# Add arguments: scripts/sync_docs.py
# Start in: C:\path\to\MyInvois MCP RAG

确保Docker正在运行并且Qdrant已启动(docker compose up -d)，并通过系统/用户环境变量或包装器脚本设置API密钥。

Linux/macOS cron：

0 0 1 * * cd /path/to/MyInvois\ MCP\ RAG && docker compose up -d && python scripts/sync_docs.py

Cron使用机器时区。确保您的API密钥在cron环境中可用。

关键实施细节

• LLM：可配置（Gemini/OpenAI/Anthropic/Ollama）；默认 models/gemini-2.5-flash
• 嵌入：可配置（FastEmbed/OpenAI/Ollama）；默认 BAAI/bge-small-en-v1.5
• 矢量数据库：Qdrant（本地）

许可证

MIT许可证。看 LICENSE.