Web Knowledge MCP

网络知识MCP

FastMCP是一种基于web的搜索服务，它下载找到的文档（HTML/PDF），将其标准化为Markdown/Plain Text，并将JSON输出到命令中心的RAG库索引中。

主要应用： Document Collector代理调用工具 search_and_collect_knowledge文件自动保存到 `docs/

/web_knowledge/命令中心启动 ingest_project_docs` 新的知识立即提供给所有的代理。

机会

• DuckDuckGo按域和语言进行过滤（易于扩展到其他搜索引擎）。
• 下载HTML/PDF，提取文本并转换为Markdown。
• 自动语言检测、哈希计数和标记分配。
• 统一答案：

{
  "project_slug": "sochi-rent-cc",
  "query": "django documentation",
  "documents": [
    {
      "source_url": "https://docs.djangoproject.com/en/stable/",
      "title": "Django documentation | Django",
      "plain_text": "...",
      "markdown": "...",
      "hash": "1e0b8c4d...",
      "language": "en",
      "tags": ["django", "docs"],
      "metadata": {
        "search_snippet": "The official Django documentation…",
        "content_type": "text/html",
        "fetched_at": "2025-12-05T08:00:01Z"
      }
    }
  ]
}

环境变量

名称值默认值 | --- | --- | --- | | WEB_KNOWLEDGE_PORT fastmcp端口 8000 | | WEB_KNOWLEDGE_MAX_URLS 搜索结果（Search Results） 20 | | WEB_KNOWLEDGE_SEARCH_CANDIDATES 过滤前需要多少结果 30 | | WEB_KNOWLEDGE_MAX_BYTES 最大下载响应量 5_242_880 | | WEB_KNOWLEDGE_HTTP_TIMEOUT –HTTP请求超时（秒）。 15 | | WEB_KNOWLEDGE_USER_AGENT 用户代理下载 web-knowledge-mcp/ | | SERPAPI_KEY Ð（可选）Serpapi键，如果您需要从DuckDuckGo切换–Ð

快速启动

git clone https://github.com/paskalex1/web-knowledge-mcp.git
cd web-knowledge-mcp
docker compose up --build web-knowledge-mcp

启动后，在命令中心（SLUG）注册MCP服务器 web-knowledge-mcp，基本URL http://web-knowledge-mcp:8000/mcp）并同步工具。所有活动代理将自动访问 search_and_collect_knowledge.

无Docker的本地开发

uv venv  # или python -m venv .venv
source .venv/bin/activate
pip install -e .
python -m web_knowledge_mcp.server

服务器正在听 0.0.0.0: 与任何FastMCP客户端兼容。

测试

uv pip install -e ".[test]"  # или pip install -r requirements-dev.txt
pytest

测试包括搜索、HTML/PDF解析和端到端工具处理。

在Command Center中发布知识

1. Document Collector调用具有参数的工具：

{
  "query": "django tutorial pdf",
  "max_documents": 5,
  "allowed_domains": ["djangoproject.com"],
  "language_priority": ["ru", "en"]
}

1. 答案在 `docs/

/web_knowledge/`创建RAG源。

1. 自动启动 ingest_project_docs，Knowledge Changelog记录diff，Rag Librarian报告新文档。

这样，代理商就可以获得新鲜的外部材料，而无需手动下载。