爬行奇偶校验MCP
部分 GEO Stack研究计划 --我们发现Googlebot和AI爬虫对新域名进行独立的权威评估。
一个MCP（模型上下文协议）服务器，用于从Nginx访问日志和谷歌搜索控制台（GSC）数据中分析Googlebot与AI爬虫的奇偶校验。确定AI爬虫相对于Googlebot访问您的内容的一致性。
安装
npm install需要Node.js 18+。
用法
启动服务器
npm start或者直接：
node src/index.js工具：analyze_logs
解析Nginx组合日志格式文件，并按爬虫类型对请求进行分类。
输入：
log_path（string，必填）：Nginx访问日志文件的路径
输出：
{
"googlebot_requests": 1234,
"ai_crawler_requests": 456,
"parity_ratio": 37.0,
"parity_level": "low_parity",
"paths_googlebot": 89,
"paths_ai_crawler": 42,
"unique_paths": 120
}工具：gsc_crossref
将日志分析结果与GSC搜索分析数据进行交叉引用。
输入：
logs_analysis（object，必填）：analyze_logs或类似结构的输出gsc_data（数组，必填）：GSC分析记录page,impressions,clicks,ctr,position
输出：
{
"both": 45,
"logs_only": 20,
"gsc_only": 35,
"total_analyzed": 100
}工具：parity_report
结合日志和GSC数据生成全面的爬网奇偶校验报告。
输入：
log_path（string，必填）：Nginx访问日志文件的路径gsc_data（数组，必填）：GSC分析记录
输出：
{
"timestamp": "2026-03-26T14:30:00.000Z",
"logs_analysis": { ... },
"gsc_crossref": { ... },
"summary": {
"googlebot_activity": "detected",
"ai_crawler_activity": "detected",
"parity_status": "low_parity",
"parity_percentage": 37.0,
"recommendation": "Low parity - AI crawlers are significantly underrepresented"
}
}奇偶校验级别
| 级别 | 比率 | 含义 |
|---|---|---|
high_parity | ≥80% | AI爬虫访问您的内容的频率几乎与Googlebot一样高 |
medium_parity | 40-79% | 中等平价；考虑优化AI爬虫的可发现性 |
low_parity | \<40% | 人工智能爬虫的代表性明显不足；查看robots.txt和可抓取性 |
insufficient_data | N/A | Googlebot请求=0；无法计算奇偶校验 |
机器人签名
Googlebot检测
Googlebot（带空格、斜线或字符串末尾）Googlebot-ImageAdsBot-Google
AI爬虫检测
GPTBot（OpenAI）ClaudeBot（人类学）PerplexityBot（困惑）YouBot（You.com）Bytespider（字节跳动）Google-Extended（谷歌人工智能）CCBot（常见爬行）PetalBot（阿里巴巴）Applebot-Extended苹果
Nginx日志格式
需要组合日志格式：
ip - - [timestamp] "METHOD /path HTTP/1.1" status bytes "referer" "user-agent"许可证
MIT——见许可证文件
作者
Artur Ferreira/GEO实验室
______________________________________________________________________
一个项目由 GEO实验室 --发电发动机优化研究