Scrapy MCP

英语 | 简体中文

Negentropy Perceives

The Perception Engine for AI Agents · Enterprise-Grade MCP Server

Distilling web pages and PDFs into clean Markdown nectar, ready to be fed directly to your LLM.

6 MCP Tools · Pipeline Orchestration · 5-Engine PDF Decoding · LLM Smart Evaluation

______________________________________________________________________

✨ 为什么负熵感知？

在庞大的人工智能代理项目生态系统中，随着时间的推移，信息感知的“脏活”往往会退化为脆弱、无法维护的混乱。基于我们的核心工程理念 正交分解与熵减（负熵），我们完全隔离了低级网络通信和格式解构的混乱。我们只为您的沙盒注入纯粹、无可争议的确定性：

• 🕵️ 网页到Markdown：面对大量渲染的SPAs和强化的防刮擦防御？该引擎配备了内置的5层渗透机制（从超并发到无头隐形浏览器轮换）。“你所看到的就是你所得到的”——穿过瀑布的设置就像在公园里散步。
• 📑 PDF转Markdown：不要因为未对齐的表格和损坏的字符而妥协。由我们专有的“引擎竞技场”机制提供动力，引人入胜 Smart 模式召唤法学硕士作为最终裁判。它协调7个专业引擎（包括Docling、PyMuPDF等）执行并发解构，以精确提取LaTeX公式、粗糙表矩阵和深度布局结构。
• 🦾 重型基础设施：放弃玩具级SDK包装。我们的核心采用了弹性指数回退、多层限速断路器和积极的内存缓存机制。乘坐全双工 asyncio，它最大限度地提高了单个节点的绝对吞吐量限制。
• 🔌 本地MCP集成：我们坚定地接受原始的模型上下文协议规范。利用标准的HTTP/STDIO/SSE传输，它放弃了冗余的胶水代码，实现了无缝、零摩擦地注入Claude Desktop或Cursor环境。

______________________________________________________________________

快速开始

1.毫秒加载

# We recommend using uv (Python 3.13+ required)
uv add negentropy-perceives

2.点燃发动机

uv run negentropy-perceives  # Defaults to listening on localhost:2992, HTTP mode

💡 先进阿森纳：首次启动时，负熵感知将在以下时间自动生成其配置 ~/.negentropy/perceives.config.yaml隐藏在里面的是高层战争的开关。

3.见证真实感知

import asyncio
from negentropy.perceives.sdk import NegentropyPerceivesClient

async def perceive_world():
    async with NegentropyPerceivesClient() as client:
        result = await client.parse_webpage_to_markdown(
            url="https://en.wikipedia.org/wiki/Entropy",
        )
        print("====== Pure Nectar Extracted ======")
        print(result.markdown_content[:250], "......\n")
        print(f"📊 Pure words retrieved from the noise: {result.word_count}")

asyncio.run(perceive_world())

4.连接MCP客户端

将以下内容添加到您的 claude_desktop_config.json 在克劳德桌面：

{
  "mcpServers": {
    "negentropy-perceives": {
      "type": "http",
      "url": "http://localhost:2992/mcp"
    }
  }
}

支持三种传输模式：STDIO（本地开发）、HTTP（推荐生产）和SSE（兼容模式）。请参阅 用户指南 为了实现全面的配置。

______________________________________________________________________

核心能力

工具包概述

\[！警告\] 请遵守目标网站的服务条款（TOS），并合理限制请求频率。此工具专门用于合法和合规的数据采集。

网络抓取策略

PDF引擎

在 auto 模式下，系统会通过一个优雅的降级链级联：Docling→ 矿工U→ 标记→ PyMuPDF→ PyPDF。激活 smart 该模式使用LLM来协调发动机之间的竞争性并行运行，最终融合最佳输出。

______________________________________________________________________

建筑景观

graph TD
    A["SDK Layer
NegentropyPerceivesClient"] -.->|"HTTP Transport"| T["MCP Tool Layer
6 Tools · @app.tool()"]
    T --> P["Pipeline Layer
Stage Orchestration · Competition/Fallback"]
    T --> B["Processing Engine Layer
Scraping · PDF · Markdown"]
    P --> B
    B --> C["Infrastructure Layer
RateLimiter · Cache · Metrics · ErrorHandler · Retry"]
    C --> D["Configuration Layer
pydantic-settings · Env Vars"]

    style A fill:#4c1d95,stroke:#a78bfa,color:#ffffff
    style T fill:#1e3a8a,stroke:#3b82f6,color:#ffffff
    style P fill:#b45309,stroke:#f59e0b,color:#ffffff
    style B fill:#166534,stroke:#22c55e,color:#ffffff
    style C fill:#134e4a,stroke:#14b8a6,color:#ffffff
    style D fill:#581c87,stroke:#9333ea,color:#ffffff

5层正交架构：SDK→ MCP工具→ 管道编排→ 处理引擎→ 基础设施，配置层交织在一起。具有10级PDF管道和12级网页管道，严格执行回退和竞争执行模型。

______________________________________________________________________

文档导航器

______________________________________________________________________

社区与贡献

在万维网和大量非结构化文本之外，是一个噪音的深渊。只有通过不懈的代码进化，我们才能稳步前进。如果你有灵感让混乱恢复秩序，请毫不犹豫地分享：

1. 在敲击键盘之前，请翻转 开发者指南 一路上。

______________________________________________________________________

MIT License, © 2026 ThreeFish-AI