Super Fetch MCP Server

获取MCP服务器的URL

](https://www.npmjs.com/package/%40j0hanz%2Ffetch-url-mcp) 

 

获取网页并将其转换为干净、可读的Markdown的MCP服务器。

概述

此服务器获取一个URL，获取页面，并删除所有不需要的内容——导航、侧边栏、横幅、脚本——只留下Markdown作为主要内容。它非常适合输入LLM，让它们在没有噪音的情况下获得页面的精华。它还可以识别GitHub、GitLab、Bitbucket和Gist URL，并重写它们以直接获取原始内容。

默认情况下，它在stdio上运行。通过 --http 如果您需要一个具有身份验证、速率限制、TLS和会话支持的适当HTTP端点。

主要特点

• HTML到Markdown --将任何公共网页转换为干净、可读的Markdown，并包含元数据，如 title, url, contentSize，以及 truncated.
• 智能URL处理 --识别GitHub、GitLab、Bitbucket和Gist页面URL，并在获取之前将其重写为原始内容端点。
• 任务模式 --大页面或慢速页面可以作为带有进度更新的异步MCP任务运行，而不是阻塞。在HTTP模式下，任务绑定到经过身份验证的调用者，而不是单个MCP会话，因此它们可以在重新连接后作为同一个经过身份验证主体恢复。轮询任务状态显示任务摘要；数字进度仍然在带外 notifications/progress.
• 自我记录 --包括 internal://instructions 资源和a get-help 提示，以便客户知道如何使用它。
• HTTP模式 --可选地通过Streamable HTTP提供主机/源验证、承载或OAuth身份验证、速率限制、健康检查和TLS。

网络客户端

如果您想在没有任何MCP设置的情况下使用服务器，则可以使用基于浏览器的客户端。

需求

• Node.js >= 24
• 码头工人 （可选）--仅当您想运行容器映像时才需要

快速开始

将此添加到您的MCP客户端配置中：

{
  "mcpServers": {
    "fetch-url-mcp": {
      "command": "npx",
      "args": ["-y", "@j0hanz/fetch-url-mcp@latest"]
    }
  }
}

客户端配置

Install in VS Code


添加 .vscode/mcp.json:

{
  "servers": {
    "fetch-url-mcp": {
      "type": "stdio",
      "command": "npx",
      "args": ["-y", "@j0hanz/fetch-url-mcp@latest"]
    }
  }
}

或通过CLI安装：

code --add-mcp '{"name":"fetch-url-mcp","command":"npx","args":["-y","@j0hanz/fetch-url-mcp@latest"]}'

有关更多信息，请参阅 VS代码MCP文档.

Install in VS Code Insiders


添加 .vscode/mcp.json:

{
  "servers": {
    "fetch-url-mcp": {
      "type": "stdio",
      "command": "npx",
      "args": ["-y", "@j0hanz/fetch-url-mcp@latest"]
    }
  }
}

或通过CLI安装：

code-insiders --add-mcp '{"name":"fetch-url-mcp","command":"npx","args":["-y","@j0hanz/fetch-url-mcp@latest"]}'

有关更多信息，请参阅 VS代码内部人员MCP文档.

Install in Cursor


添加 ~/.cursor/mcp.json:

{
  "mcpServers": {
    "fetch-url-mcp": {
      "command": "npx",
      "args": ["-y", "@j0hanz/fetch-url-mcp@latest"]
    }
  }
}

有关更多信息，请参阅 光标MCP文档.

Install in Visual Studio


对于解决方案范围的设置，请将此添加到 .mcp.json 在解决方案的根：

{
  "servers": {
    "fetch-url-mcp": {
      "type": "stdio",
      "command": "npx",
      "args": ["-y", "@j0hanz/fetch-url-mcp@latest"]
    }
  }
}

有关更多信息，请参阅 Visual Studio MCP文档.

Install in Goose

添加 ~/.config/goose/config.yaml 在macOS/Linux或 %APPDATA%\Block\goose\config\config.yaml 在Windows上：

extensions:
  fetch-url-mcp:
    name: fetch-url-mcp
    cmd: npx
    args: ['-y', '@j0hanz/fetch-url-mcp@latest']
    enabled: true
    type: stdio
    timeout: 300

有关更多信息，请参阅 Goose扩展文档.

Install in LM Studio


添加 ~/.lmstudio/mcp.json 在macOS/Linux或 %USERPROFILE%/.lmstudio/mcp.json 在Windows上：

{
  "mcpServers": {
    "fetch-url-mcp": {
      "command": "npx",
      "args": ["-y", "@j0hanz/fetch-url-mcp@latest"]
    }
  }
}

有关更多信息，请参阅 LM Studio MCP文档.

Install in Claude Desktop

添加 claude_desktop_config.json:

{
  "mcpServers": {
    "fetch-url-mcp": {
      "command": "npx",
      "args": ["-y", "@j0hanz/fetch-url-mcp@latest"]
    }
  }
}

有关更多信息，请参阅 克劳德桌面MCP文档.

Install in Claude Code

使用CLI：

claude mcp add fetch-url-mcp -- npx -y @j0hanz/fetch-url-mcp@latest

对于项目范围的配置，Claude Code写道 .mcp.json 与：

{
  "mcpServers": {
    "fetch-url-mcp": {
      "command": "npx",
      "args": ["-y", "@j0hanz/fetch-url-mcp@latest"],
      "env": {}
    }
  }
}

有关更多信息，请参阅 克劳德代码MCP文档.

Install in Windsurf

添加 ~/.codeium/windsurf/mcp_config.json:

{
  "mcpServers": {
    "fetch-url-mcp": {
      "command": "npx",
      "args": ["-y", "@j0hanz/fetch-url-mcp@latest"]
    }
  }
}

有关更多信息，请参阅 Windsurf MCP文件.

Install in Amp

添加 ~/.config/amp/settings.json 在macOS/Linux上， %USERPROFILE%\.config\amp\settings.json 在Windows上，或 .amp/settings.json 对于工作区范围的配置：

{
  "amp.mcpServers": {
    "fetch-url-mcp": {
      "command": "npx",
      "args": ["-y", "@j0hanz/fetch-url-mcp@latest"]
    }
  }
}

或通过CLI安装：

amp mcp add fetch-url-mcp -- npx -y @j0hanz/fetch-url-mcp@latest

有关更多信息，请参阅 Amp文档.

Install in Cline

打开MCP服务器面板，选择 Configure MCP Servers，并将其添加到 cline_mcp_settings.json:

{
  "mcpServers": {
    "fetch-url-mcp": {
      "command": "npx",
      "args": ["-y", "@j0hanz/fetch-url-mcp@latest"]
    }
  }
}

有关更多信息，请参阅 临床MCP文档.

Install in Codex CLI

使用CLI：

codex mcp add fetch-url-mcp -- npx -y @j0hanz/fetch-url-mcp@latest

或将此添加到 ~/.codex/config.toml 或项目范围 .codex/config.toml:

[mcp_servers.fetch-url-mcp]
command = "npx"
args = ["-y", "@j0hanz/fetch-url-mcp@latest"]

有关更多信息，请参阅 食品法典委员会MCP文件.

Install in GitHub Copilot

添加 .vscode/mcp.json:

{
  "servers": {
    "fetch-url-mcp": {
      "type": "stdio",
      "command": "npx",
      "args": ["-y", "@j0hanz/fetch-url-mcp@latest"]
    }
  }
}

有关更多信息，请参阅 .

Install in Warp

打开 Personal > MCP Servers 在“扭曲”中，选择 + Add，并添加具有以下功能的CLI服务器：

• command: npx
• args: ["-y", "@j0hanz/fetch-url-mcp@latest"]

或者在使用Warp的多服务器导入流时粘贴此JSON片段：

{
  "mcpServers": {
    "fetch-url-mcp": {
      "command": "npx",
      "args": ["-y", "@j0hanz/fetch-url-mcp@latest"]
    }
  }
}

有关更多信息，请参阅 扭曲MCP文档.

Install in Kiro

使用Kiro的MCP服务器面板或 Add to Kiro 安装流量。Kiro将工作区范围的MCP配置存储在 .kiro/settings/mcp.json 以及用户范围的配置 ~/.kiro/settings/mcp.json.

对于此服务器，请使用：

• command: npx
• args: ["-y", "@j0hanz/fetch-url-mcp@latest"]

有关更多信息，请参阅 Kiro MCP文件.

Install in Gemini CLI

添加 ~/.gemini/settings.json:

{
  "mcpServers": {
    "fetch-url-mcp": {
      "command": "npx",
      "args": ["-y", "@j0hanz/fetch-url-mcp@latest"]
    }
  }
}

有关更多信息，请参阅 Gemini CLI MCP文档.

Install in Zed

添加 ~/.config/zed/settings.json:

{
  "context_servers": {
    "fetch-url-mcp": {
      "command": "npx",
      "args": ["-y", "@j0hanz/fetch-url-mcp@latest"],
      "env": {}
    }
  }
}

有关更多信息，请参阅 Zed MCP文件.

Install in Augment

使用“增强设置”面板，手动添加服务器或选择 Import from JSON:

{
  "mcpServers": {
    "fetch-url-mcp": {
      "command": "npx",
      "args": ["-y", "@j0hanz/fetch-url-mcp@latest"]
    }
  }
}

有关更多信息，请参阅 补充MCP文件.

Install in Roo Code

使用Roo Code的MCP服务器UI或市场流程。

对于此服务器，请使用：

• command: npx
• args: ["-y", "@j0hanz/fetch-url-mcp@latest"]

有关更多信息，请参阅 Roo代码文档.

Install in Kilo Code

使用Kilo Code的MCP服务器UI或市场流程。

对于此服务器，请使用：

• command: npx
• args: ["-y", "@j0hanz/fetch-url-mcp@latest"]

有关更多信息，请参阅 基洛代码文档.

用例

• LLM文件 --以Markdown格式抓取文档页面、博客文章或参考文章，并将其直接传递到上下文窗口中。
• 存储库内容 --给它一个GitHub、GitLab或Bitbucket URL，它就会解析原始内容端点。也与Gists合作。
• 慢速或大页面 --任务模式允许大型获取在后台运行，同时将单调的进度更新发送回客户端，而 tasks/get 显示最新的任务摘要字段，例如 statusMessage, createdAt, lastUpdatedAt, ttl，以及 pollInterval.

建筑

[MCP Client]
  ├─ stdio -> `src/index.ts` -> `startStdioServer()` -> `createMcpServer()`
  └─ HTTP (`--http`) -> `src/index.ts` -> `startHttpServer()` -> HTTP dispatcher
       ├─ `GET /health`
       ├─ `GET /.well-known/oauth-protected-resource`
       ├─ `GET /.well-known/oauth-protected-resource/mcp`
       └─ `POST|GET|DELETE /mcp`

`createMcpServer()`
  ├─ registers tool: `fetch-url`
  ├─ registers prompt: `get-help`
  ├─ registers resources:
  │    - `internal://instructions`
  ├─ enables capabilities: logging, resources, prompts, tasks
  └─ installs task handlers, log-level handling, and shutdown cleanup

`fetch-url` execution
  ├─ validate input with `fetchUrlInputSchema`
  ├─ normalize URL and block local/private targets unless allowed
  ├─ rewrite supported code-host URLs to raw endpoints when possible
  ├─ fetch content via the shared pipeline
  ├─ transform HTML into Markdown in the transform worker path
  └─ validate `structuredContent` with `fetchUrlOutputSchema`

请求的生命周期

[Client] -- initialize {protocolVersion, capabilities} --> [Server]
[Server] -- {protocolVersion, capabilities, serverInfo} --> [Client]
[Client] -- notifications/initialized --> [Server]
[Client] -- tools/call {name, arguments} --> [Server]
[Server] -- {content: [{type, text}], structuredContent?, isError?} --> [Client]

MCP表面

工具

fetch-url

获取一个URL并返回Markdown。只读，不执行JavaScript。支持作为大型或慢速页面的后台MCP任务运行。在任务模式下， tasks/get 和 tasks/list 公开任务摘要，包括 status, statusMessage, createdAt, lastUpdatedAt, ttl，以及 pollInterval；数字进度仍未通过 notifications/progress.

默认情况下，您将恢复文本内容。如果输出验证通过，响应还包括 structuredContent 键入字段： url, resolvedUrl, finalUrl, title, metadata, markdown, fetchedAt, contentSize，以及 truncatedA. true 的值 truncated 意味着内容达到了服务器端的大小限制。

要选择参与进度更新，请包括 _meta.progressToken 在工具调用中。令牌可以是字符串或数字，服务器可以发出单调的 notifications/progress 在fetch运行时进行更新。

要在任务模式下运行该工具，请包括 params.task = { ttl?: }. tasks/result 等待直到任务达到终端状态，然后返回已存储的输出或已取消或失败任务的终端错误有效载荷。任务总结和最终结果包括 _meta["io.modelcontextprotocol/related-task"] = { "taskId": "" }.

{
  "method": "tools/call",
  "params": {
    "name": "fetch-url",
    "arguments": {
      "url": "https://example.com/docs"
    },
    "task": {
      "ttl": 300000,
      "pollInterval": 1000
    },
    "_meta": {
      "progressToken": 7
    }
  }
}

1. [Client] -- tools/call {name: "fetch-url", arguments} --> [Server]
2. [Server] -- dispatch("fetch-url") --> [src/tools/fetch-url.ts]
3. [Handler] -- validate(fetchUrlInputSchema) --> normalize / fetch / transform
4. [Handler] -- validate(fetchUrlOutputSchema) --> assemble content + structuredContent
5. [Server] -- result or tool error --> [Client]

资源

提示

MCP能力

工具注释

结构化输出

该工具声明 outputSchema 并包括 structuredContent 在验证通过时的响应中。支持结构化输出的客户端直接获取类型化数据；其余的使用文本回退。

配置

所有配置都是通过环境变量进行的。对于基本的stdio用法，不需要设置任何内容。

HTTP服务器

身份验证和OAuth

传输层安全

获取

工具输出

任务

改造工人

内容清理

日志记录

HTTP端点

安全

发展

基本命令

All npm scripts

构建与发布

• npm run prepublishOnly 运行lint、类型检查并构建为单个释放门。
• CI工作流位于 .github/workflows/.
• Dockerfile 和 docker-compose.yml 包括集装箱运输。
• 发布于npm @j0hanz/fetch-url-mcp.

故障排除

学分

贡献和许可

欢迎拉取请求。请在提交前确保这些通过：

1. npm run lint 和 npm run type-check
2. npm test
3. npm run format

许可证

MIT许可证。看 许可证 了解详情。