Crawleo MCP服务器
通过模型上下文协议（MCP）为AI助手提供实时网络搜索和爬行功能。
概述
Crawleo MCP使AI助手能够通过两个强大的工具访问实时网络数据：
- web搜索 -具有多种输出格式的实时网络搜索
- web.crawl -从任何URL中深度提取内容
特性
✅ 实时网络搜索 来自任何国家/语言\ ✅ 多种输出格式 -增强型HTML、原始HTML、Markdown、纯文本\ ✅ 设备特定结果 -桌面、移动或平板电脑视图\ ✅ 深度内容提取 使用JavaScript渲染\ ✅ 零数据保留 -完全隐私\ ✅ 自动爬行 搜索结果选项
______________________________________________________________________
安装
选项1:NPM（建议本地使用）
通过npm全局安装：
npm install -g crawleo-mcp或者使用npx而不安装：
npx crawleo-mcp选项2：克隆存储库
git clone https://github.com/Crawleo/Crawleo-MCP.git
cd Crawleo-MCP
npm install
npm run build选项3:Docker
使用Docker构建和运行：
# Build the image
docker build -t crawleo-mcp .
# Run with your API key
docker run -e CRAWLEO_API_KEY=your_api_key crawleo-mcpMCP客户端的Docker配置：
{
"mcpServers": {
"crawleo": {
"command": "docker",
"args": ["run", "-i", "--rm", "-e", "CRAWLEO_API_KEY=YOUR_API_KEY_HERE", "crawleo-mcp"]
}
}
}选项4：远程服务器（无需安装）
使用托管版本 https://api.crawleo.dev/mcp -请参阅下面的配置示例。
______________________________________________________________________
获取API密钥
- 访问 crawleo.dev
- 注册一个免费帐户
- 导航到您的仪表板
- 复制API密钥（以开头
sk_)
______________________________________________________________________
安装说明
使用本地MCP服务器（npm包）
通过npm安装后，将MCP客户端配置为使用本地服务器：
克劳德桌面/光标/风帆（本地）：
{
"mcpServers": {
"crawleo": {
"command": "npx",
"args": ["crawleo-mcp"],
"env": {
"CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}或者，如果全局安装：
{
"mcpServers": {
"crawleo": {
"command": "crawleo-mcp",
"env": {
"CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}从克隆存储库：
{
"mcpServers": {
"crawleo": {
"command": "node",
"args": ["/path/to/Crawleo-MCP/dist/index.js"],
"env": {
"CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}______________________________________________________________________
使用远程服务器（托管）
1.克劳德桌面
配置文件的位置：
- macOS:
~/Library/Application Support/Claude/claude_desktop_config.json - 视窗:
%APPDATA%\Claude\claude_desktop_config.json - Linux:
~/.config/Claude/claude_desktop_config.json
配置：
{
"mcpServers": {
"crawleo": {
"url": "https://api.crawleo.dev/mcp",
"transport": "http",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}替换 YOUR_API_KEY_HERE 使用crawleo.dev中的实际API密钥。
步骤：
- 在文本编辑器中打开配置文件
- 添加Crawleo MCP配置
- 保存文件
- 完全重新启动Claude Desktop（退出并重新打开）
- 开始新的对话，让克劳德搜索网络！
示例用法：
"Search for the latest AI news and summarize the top 5 articles"
"Find Python web scraping tutorials and extract code examples"______________________________________________________________________
2.光标IDE
配置文件的位置：
- macOS:
~/.cursor/config.json或~/Library/Application Support/Cursor/config.json - 视窗:
%APPDATA%\Cursor\config.json - Linux:
~/.config/Cursor/config.json
配置：
{
"mcpServers": {
"crawleo": {
"url": "https://api.crawleo.dev/mcp",
"transport": "http",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}步骤：
- 找到并打开您的Cursor配置文件
- 添加Crawleo MCP配置
- 保存文件
- 重新启动游标
- MCP工具将在您的AI助手中提供
Cursor中的示例用法：
"Search for React best practices and add them to my code comments"
"Find the latest documentation for this API endpoint"______________________________________________________________________
3.风帆IDE
配置文件的位置：
- macOS:
~/Library/Application Support/Windsurf/config.json - 视窗:
%APPDATA%\Windsurf\config.json - Linux:
~/.config/Windsurf/config.json
配置：
{
"mcpServers": {
"crawleo": {
"url": "https://api.crawleo.dev/mcp",
"transport": "http",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}步骤：
- 打开Windsurf配置文件
- 添加Crawleo MCP服务器配置
- 保存并重新启动Windsurf
- 开始在编码工作流程中使用网络搜索
______________________________________________________________________
4.GitHub副本
配置文件的位置：
对于VS Code或兼容编辑器中的GitHub Copilot，您需要配置MCP服务器。
配置：
创建或编辑MCP配置文件并添加：
{
"servers": {
"Crawleo": {
"url": "https://api.crawleo.dev/mcp",
"transport": "http",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}多台服务器的完整示例：
{
"servers": {
"Crawleo": {
"url": "https://api.crawleo.dev/mcp",
"transport": "http",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}步骤：
- 打开GitHub Copilot MCP配置
- 添加Crawleo服务器配置
- 保存文件
- 重新启动VS Code或IDE
- GitHub Copilot现在可以使用Crawleo进行网络搜索！
示例用法：
Ask Copilot: "Search for the latest Python best practices"
Ask Copilot: "Find documentation for this library"______________________________________________________________________
5.OpenAI平台（直接集成）
OpenAI现在直接支持MCP服务器！以下是如何将Crawleo与OpenAI的API一起使用：
Python示例：
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="gpt-4",
input=[
{
"role": "user",
"content": [
{
"type": "input_text",
"text": "search for latest news about openai models"
}
]
}
],
text={
"format": {
"type": "text"
},
"verbosity": "medium"
},
reasoning={
"effort": "medium"
},
tools=[
{
"type": "mcp",
"server_label": "Crawleo",
"server_url": "https://api.crawleo.dev/mcp",
"server_description": "Crawleo MCP Server - Real-Time Web Knowledge for AI",
"authorization": "YOUR_API_KEY_HERE",
"allowed_tools": [
"web.search",
"web.crawl"
],
"require_approval": "always"
}
],
store=True,
include=[
"reasoning.encrypted_content",
"web_search_call.action.sources"
]
)
print(response)关键参数：
server_url-Crawleo MCP端点authorization-您的Crawleo API密钥allowed_tools-启用web.search和web.crawlrequire_approval-设置为“始终”、“从不”或“有条件”
Node.js示例：
import OpenAI from 'openai';
const client = new OpenAI();
const response = await client.responses.create({
model: 'gpt-4',
input: [
{
role: 'user',
content: [
{
type: 'input_text',
text: 'search for latest AI developments'
}
]
}
],
tools: [
{
type: 'mcp',
server_label: 'Crawleo',
server_url: 'https://api.crawleo.dev/mcp',
server_description: 'Crawleo MCP Server - Real-Time Web Knowledge for AI',
authorization: 'YOUR_API_KEY_HERE',
allowed_tools: ['web.search', 'web.crawl'],
require_approval: 'always'
}
]
});
console.log(response);______________________________________________________________________
可用工具
web搜索
使用可定制的参数实时搜索网络。
参数：
query*（必填）* -搜索词max_pages-结果页数（默认值：1）setLang-语言代码（例如“en”、“ar”）cc-国家代码（例如“US”、“EG”）device-设备类型：“台式机”、“手机”、“平板电脑”（默认：“台式”）enhanced_html-获取干净的HTML（默认值：true）raw_html-获取原始HTML（默认值：false）markdown-获取Markdown格式（默认值：true）page_text-获取纯文本（默认值：false）auto_crawling-自动爬网结果URL（默认值：false）
例子：
Ask your AI: "Search for 'Python web scraping' and return results in Markdown"______________________________________________________________________
web.crawl
从特定URL提取内容。
参数：
urls*（必填）* -要爬网的URL列表rawHtml-返回原始HTML（默认值：false）markdown-转换为Markdown（默认值：false）screenshot-截图（可选）country-地理位置
例子：
Ask your AI: "Crawl https://example.com and extract the main content in Markdown"______________________________________________________________________
故障排除
MCP服务器未出现
- 检查配置文件位置 -确保您正在编辑正确的文件
- 验证JSON语法 -使用JSON验证器检查语法错误
- 重新启动应用程序 -完全退出并重新打开（而不仅仅是重新加载）
- 检查API密钥 -确保您的API密钥在crawleo.dev上有效且处于活动状态
身份验证错误
- 验证您的API密钥是否正确（应该从
sk_) - 确保密钥用引号括起来
- 检查授权标头中是否包含“Bearer”前缀（适用于Claude/Cursor/Windsurf）
- 对于OpenAI平台，直接在
authorization领域 - 确认您的帐户在crawleo.dev上有可用的积分
未返回任何结果
- 检查您的互联网连接
- 验证搜索查询是否为空
- 先尝试一个更简单的搜索查询
- 在crawleo.dev检查API状态
无法识别工具名称
确保使用正确的工具名称：
- 使用
web.search（不是search_web) - 使用
web.crawl（不是crawl_web)
______________________________________________________________________
使用示例
研究助理
"Search for recent developments in quantum computing and summarize the key findings"内容分析
"Search for competitor pricing pages and extract their pricing tiers"代码文档
"Find the official documentation for FastAPI and extract the quickstart guide"新闻监测
"Search for today's news about artificial intelligence from US sources"市场调研
"Search for customer reviews of iPhone 15 and analyze sentiment"______________________________________________________________________
定价
Crawleo MCP使用与我们的API相同的价格：
- 10000次搜索 → $20
- 100000次搜索 → $100
- 250000次搜索 → $200
在以下网址查看您的使用情况并管理您的订阅 crawleo.dev
______________________________________________________________________
隐私和安全
✅ 零数据保留 -我们从不存储您的搜索查询或结果\ ✅ 安全认证 -通过HTTPS传输的API密钥\ ✅ 没有追踪 -您的使用模式保持私密
______________________________________________________________________
支持
- 文档: crawleo.dev/docs
- API状态: crawleo.dev/status
- 联系: support@crawleo.dev
______________________________________________________________________
链接
- 🌐 网站： crawleo.dev
- 📚 文档： crawleo.dev/docs
- 🔑 获取API密钥： crawleo.dev
______________________________________________________________________
这样更好吗？您希望我添加其他内容或创建其他指南吗？
