ScrAPI MCP服务器
MCP服务器使用 ScrAPI 抓取网页。
ScrAPI是您的终极网络抓取解决方案，提供强大、可靠和易于使用的功能，可以轻松地从任何网站提取数据。
工具
scrape_url_html
- 使用URL通过ScrAPI服务抓取网站，并以HTML形式检索结果。 使用此功能抓取由于机器人检测、验证码甚至地理位置限制而难以访问的网站内容。 如果需要高级解析，最好使用HTML格式。 - 输入： - url （string，必填）：要抓取的URL - browserCommands （字符串，可选）：在抓取之前要执行的浏览器命令的JSON数组 - 返回：URL的HTML内容
scrape_url_markdown
- 使用URL通过ScrAPI服务抓取网站，并将结果作为Markdown检索。 使用此功能抓取由于机器人检测、验证码甚至地理位置限制而难以访问的网站内容。 如果网页的文本内容很重要，而不是页面的结构信息，则最好使用Markdown。 - 输入： - url （string，必填）：要抓取的URL - browserCommands （字符串，可选）：在抓取之前要执行的浏览器命令的JSON数组 - 返回：URL的Markdown内容
浏览器命令
这两个工具都支持可选的浏览器命令，允许您在抓取之前与页面进行交互。这有助于：
- 点击按钮（例如“接受Cookie”、“加载更多”）
- 填写表格
- 选择下拉选项
- 滚动以加载动态内容
- 等待元素出现
- 执行自定义JavaScript
可用命令
命令以JSON数组字符串的形式提供。所有命令都以类似人类的行为（随机鼠标移动、可变打字速度等）执行：
| 命令 | 格式 | 描述 |
|---|---|---|
| 点击 | {"click": "#buttonId"} | 使用CSS选择器单击元素 |
| 输入 | {"input": {"input[name='email']": "value"}} | 填写输入字段 |
| 选择 | {"select": {"select[name='country']": "USA"}} | 从下拉列表中选择（按值或文本） |
| 滚动 | {"scroll": 1000} | 按像素向下滚动（负值向上滚动） |
| 等待 | {"wait": 5000} | 等待毫秒（最多15000） |
| 等待 | {"waitfor": "#elementId"} | 等待元素出现在DOM中 |
| JavaScript | {"javascript": "console.log('test')"} | 执行自定义JavaScript代码 |
示例用法
[
{"click": "#accept-cookies"},
{"wait": 2000},
{"input": {"input[name='search']": "web scraping"}},
{"click": "button[type='submit']"},
{"waitfor": "#results"},
{"scroll": 500}
]查找CSS选择器
需要帮助查找CSS选择器吗？试试 Rayrun浏览器扩展 轻松选择元素并生成选择器。
有关更多详细信息，请参阅 浏览器命令文档.
设置
API密钥（可选）
从获取API密钥（可选） ScrAPI网站.
如果没有API密钥，您将被限制为每天只能进行一次并发调用和二十次免费调用，并且具有最低的排队能力。
云服务器
ScrAPI MCP服务器也可通过SSE在云端使用，网址为https://api.scrapi.tech/mcp/sse以及可流式传输的HTTPhttps://api.scrapi.tech/mcp
云MCP服务器尚未得到广泛支持，但您可以直接从自己的自定义客户端访问或使用 MCP检查员 以测试它。当连接到云MCP服务器时，目前没有设施可以通过您的API密钥。
使用Claude Desktop
将以下内容添加到您的 claude_desktop_config.json:
码头工人
{
"mcpServers": {
"ScrAPI": {
"command": "docker",
"args": [
"run",
"-i",
"--rm",
"-e",
"SCRAPI_API_KEY",
"deventerprisesoftware/scrapi-mcp"
],
"env": {
"SCRAPI_API_KEY": ""
}
}
}
}NPX
{
"mcpServers": {
"ScrAPI": {
"command": "npx",
"args": [
"-y",
"@deventerprisesoftware/scrapi-mcp"
],
"env": {
"SCRAPI_API_KEY": ""
}
}
}
}构建
Docker构建：
docker build -t deventerprisesoftware/scrapi-mcp -f Dockerfile .许可证
此MCP服务器根据MIT许可证获得许可。这意味着您可以根据MIT许可证的条款和条件自由使用、修改和分发软件。有关更多详细信息，请参阅项目存储库中的LICENSE文件。