ScorchCrawl MCP——MCP代理/服务器
此存储库包含MCP代理/服务器,它公开模型上下文协议端点,并将MCP客户端(VS代码副本、Claude Desktop、其他客户端)连接到核心 scorchcrawl 抓取引擎,以及用于调用已运行的MCP HTTP端点的CLI客户端。
设计目标
- 小型、依赖性低的服务器,可以作为本地客户端代理运行(
stdio)或远程HTTP MCP端点(SSE). - 运行时将每个用户的机密(GitHub令牌、NODE_EXTRA_CA_CERTS)保存在本地
stdio. - 使用
SCORCHCRAWL_API_URL与堆芯抓取引擎进行通信(可以是本地或远程)。 - 通过npm轻松安装CLI客户端(
npx scorchcrawl-mcp)一旦MCP服务器已经可以通过HTTP访问。
快速入门——通过npm使用CLI
npm包是围绕MCP HTTP服务器的stdio包装器。首先启动MCP服务器,然后将npm客户端指向它:
# Terminal 1: run the MCP server itself
SCORCHCRAWL_API_URL=http://localhost:24786 \
HTTP_STREAMABLE_SERVER=true PORT=24787 \
node server/dist/index.js
# Terminal 2: expose that HTTP MCP server over stdio for your editor/client
SCORCHCRAWL_URL=http://localhost:24787 \
npx scorchcrawl-mcp快速入门--本地HTTP(SSE)服务器
# Build and run the server directly from source
cd server
pnpm install
pnpm build
# Run as HTTP MCP server
HTTP_STREAMABLE_SERVER=true PORT=24787 SCORCHCRAWL_API_URL=http://localhost:24786 \
node dist/index.js快速入门——全栈部署(Docker Compose)
对于同时具有抓取引擎和MCP服务器的完整部署:
docker compose up -d这就引出了:
- 焦煤原料 (发动机)位于24786号端口
- scorchcrawl mcp 端口24787上的(MCP服务器)
- 支持服务(Redis、RabbitMQ、Postgres、剧作家、无浏览器、SearXNG)
看 .env.example 对于所有可配置变量。
配置
| 变量 | 默认值 | 注释 |
|---|---|---|
SCORCHCRAWL_API_URL | - | 必输项:抓取API的URL(例如。 http://localhost:24786) |
SCORCHCRAWL_API_KEY | - | 可选:用于对引擎进行身份验证的API密钥 |
GITHUB_TOKEN | -- | 可选:GitHub PAT copilot Copilot代理范围 |
HTTP_STREAMABLE_SERVER | false | 设置为 true 以HTTP服务器而不是stdio运行 |
PORT | 3000 | 服务器端口 |
NODE_EXTRA_CA_CERTS | -- | 可选:TLS验证的CA捆绑包路径(Windows客户端) |
SCORCHCRAWL_URL | http://localhost:24787 | 仅限npm客户端:MCP HTTP服务器的URL |
客户端配置
使用npm(cli/stdio)
{
"mcp": {
"servers": {
"scorchcrawl": {
"type": "stdio",
"command": "npx",
"args": ["scorchcrawl-mcp"],
"env": {
"SCORCHCRAWL_URL": "http://localhost:24787",
"GITHUB_TOKEN": "ghp_exampletoken"
}
}
}
}
}Ubuntu/WSL stdio示例
{
"scorchcrawl": {
"type": "stdio",
"command": "npx",
"args": ["-y", "scorchcrawl-mcp"],
"env": {
"SCORCHCRAWL_LOCAL_PROXY": "false",
"SCORCHCRAWL_API_KEY": "${env:SCORCHCRAWL_API_KEY}",
"SCORCHCRAWL_URL": "http://127.0.0.1:24787",
"SCORCHCRAWL_API_URL": "${env:SCORCHCRAWL_API_URL}",
"NODE_EXTRA_CA_CERTS": "/mnt/c/Users/320295634/MCP Configuration/combined-certs.pem"
},
"startupTimeout": 300000
}
}SCORCHCRAWL_URL 是npm客户端用来访问MCP服务器的。 SCORCHCRAWL_API_URL 仍然属于MCP服务器进程本身,然后它与抓取引擎进行通信。
使用本地来源
{
"mcp": {
"servers": {
"scorchcrawl": {
"type": "stdio",
"command": "node",
"args": ["/path/to/scorchcrawl-mcp/client/dist/cli.js"],
"env": {
"SCORCHCRAWL_URL": "http://localhost:24787",
"GITHUB_TOKEN": "ghp_exampletoken"
}
}
}
}
}冒烟测试
# Test the health endpoint (server running with HTTP mode)
HTTP_STREAMABLE_SERVER=true PORT=24787 SCORCHCRAWL_API_URL=http://localhost:24786 \
node server/dist/index.js &
sleep 2
curl -sf http://localhost:24787/health && echo "✓ MCP server is healthy"Windows/WSL帮助程序
当您从Windows/WSL本地运行MCP服务器时,将抓取流量和TLS信任包保留在客户端计算机上是有帮助的。集 SCORCHCRAWL_LOCAL_PROXY=true,指向MCP服务器的 SCORCHCRAWL_API_URL 在 http://localhost:24786,并在启动服务器之前覆盖您的Windows CA捆绑包:
export SCORCHCRAWL_LOCAL_PROXY=true
export SCORCHCRAWL_API_URL=http://localhost:24786
export NODE_EXTRA_CA_CERTS="/mnt/c/Users/320295634/MCP Configuration/combined-certs.pem"然后将npm客户端指向MCP服务器:
export SCORCHCRAWL_URL=http://localhost:24787
npx scorchcrawl-mcp替换 320295634 使用您的实际Windows配置文件路径,以便Node信任与主机相同的CA证书。辅助脚本位于 ./ScorchCrawl/scripts/dev-helper.sh (相对于此README之上一级的工作区根目录)缺少副本 .env 文件来自 .env.example,打印此推荐环境(包括以下内容的快照 free -h 输出,以便您可以看到有多少RAM可用),并且可以在安装依赖项后运行所需的任何单元测试:
./ScorchCrawl/scripts/dev-helper.sh env
./ScorchCrawl/scripts/dev-helper.sh test-mcp
./ScorchCrawl/scripts/dev-helper.sh test-engine
./ScorchCrawl/scripts/dev-helper.sh test-allnpm客户端现在也有专用的测试层:
cd client
npm run test:unit
npm run test:integration
npm run test:e2e还有一个轻量级的烟雾呼叫,模仿你的Windows npx Ubuntu上的配置:
cd client
npm run smoke在启动Docker堆栈之前,请注意RAM——目前Compose文件的上限 scorchcrawl-api at 8 GB和浏览器服务在4 每个GB,所以减少 mem_limit 如果您的主机的片数小于~16 GB.
获取刮芯发动机
见同伴 scorchcrawl 存储库:
- 仓库: 大卫·沃肖夫斯基/斯科奇克劳尔
- Docker 镜像:
docker pull ananymoususer/scorchcrawl:latest - 有关配置、部署和体系结构文档,请参阅
docs/在该回购中
发布到npm
CLI客户端(client/package.json)已发布到npm scorchcrawl-mcp:
npm publish这使用户能够通过以下方式安装和运行:
npx scorchcrawl-mcp
npm install -g scorchcrawl-mcp许可证
AGPL-3.0——见 LICENSE.
MCP服务器层(server/),客户端包(client/),和Docker编排是ScorchCrawl贡献者的原创作品,也在AGPL-3.0下获得许可。
商标声明: “Firecrawl”是Mendable/Sideguide Technologies股份有限公司的商标。“ScorchCrawl”不隶属于、认可或赞助Firecrawle或Mendable/Sideguide Technologies股份有限公司。
免责声明
本软件按“原样”提供,不提供任何形式的保修。作者和版权持有人对使用本软件造成的任何损害不承担任何责任。用户承担遵守适用法律法规的所有风险和责任。本软件不得用于任何非法活动、未经授权的访问或违反任何网站的服务条款。
