media-research-crawl-skill（媒体研究爬行技巧）

media-crawler-local

直接调用本机 HTTP 服务，不走 OpenClaw/Cursor 的 MCP 客户端配置。

前置确认

先从用户消息或上下文中提取以下信息，缺少时再询问：

• 操作类型：搜集内容 / 查询归档 / 读取任务数据
• 目标链接或关键词
• 平台（可从链接自动推断）

工具清单

B 站系列

所有 B 站工具均支持可选 cookies 参数（字符串，从浏览器插件获取）。

其他平台

归档与数据读取

list_archives 参数说明：

• sort_by：date（默认，创建时间倒序）或 status（running → failed → unknown → finished）
• created_after：ISO 日期，如 2026-03-18 或 2026-03-18T10:00:00Z

get_task_data 的 type 支持以下值（含别名）：

HTTP 端点

服务地址默认 http://127.0.0.1:39002，可通过环境变量 BIL_CRAWL_URL 覆盖。

搜集端点（REST）

POST /start-crawl/{platform}/{encodedUrl}
Content-Type: application/json

{ "source": "ai" }

encodedUrl 需要 encodeURIComponent 编码；platform 取值：bilibili / douyin / youtube / zhihu。

MCP 端点（JSON-RPC 2.0）

POST /mcp
Accept: application/json, text/event-stream
Content-Type: application/json

请求体格式：

{ "jsonrpc": "2.0", "id": 1, "method": "tools/call", "params": { "name": "<tool>", "arguments": { } } }

脚本用法

所有脚本位于 skills/media-crawler-local/scripts/，工作目录为 openclaw workspace 根。

1. 快速搜集（REST，crawl.sh）

bash skills/media-crawler-local/scripts/crawl.sh <platform> <url> [base_url]

示例：

bash skills/media-crawler-local/scripts/crawl.sh bilibili "https://www.bilibili.com/video/BV1xx411c7mD"

2. 通过 MCP 搜集（crawl_mcp.sh，仅支持带 url 的工具）

bash skills/media-crawler-local/scripts/crawl_mcp.sh <tool_name> <target_url> [base_url]

示例：

bash skills/media-crawler-local/scripts/crawl_mcp.sh crawl_bilibili "https://www.bilibili.com/video/BV1xx411c7mD"

支持工具：crawl_bilibili / crawl_douyin / crawl_youtube / crawl_zhihu

其余工具（bilibili_search / bilibili_uploader / bilibili_popular / bilibili_weekly / bilibili_history / list_archives / get_task_data）请用 mcp_tool.sh。

3. 归档查询（list_archives_mcp.sh）

bash skills/media-crawler-local/scripts/list_archives_mcp.sh [platform] [keyword] [limit] [base_url]

示例：

bash skills/media-crawler-local/scripts/list_archives_mcp.sh bilibili "蛋神" 20

4. 通用工具调用（mcp_tool.sh）

bash skills/media-crawler-local/scripts/mcp_tool.sh <tool_name> [args_json] [base_url]

示例：

# B 站搜索
bash skills/media-crawler-local/scripts/mcp_tool.sh crawl_bilibili_search '{"keyword":"蛋神"}'

# UP 主视频列表
bash skills/media-crawler-local/scripts/mcp_tool.sh crawl_bilibili_uploader '{"mid":"123456"}'

# 热门视频
bash skills/media-crawler-local/scripts/mcp_tool.sh crawl_bilibili_popular '{}'

# 每周必看（最新一期）
bash skills/media-crawler-local/scripts/mcp_tool.sh crawl_bilibili_weekly '{}'

# 每周必看（指定期数）
bash skills/media-crawler-local/scripts/mcp_tool.sh crawl_bilibili_weekly '{"number":364}'

# 历史记录（默认参数）
bash skills/media-crawler-local/scripts/mcp_tool.sh crawl_bilibili_history '{}'

# 历史记录（指定首屏 cursor）
bash skills/media-crawler-local/scripts/mcp_tool.sh crawl_bilibili_history '{"max":0,"view_at":0,"business":"","ps":20,"type":"all"}'

# 历史记录（指定整理页数）
bash skills/media-crawler-local/scripts/mcp_tool.sh crawl_bilibili_history '{"page_count":2}'

# 读取任务评论数据
bash skills/media-crawler-local/scripts/mcp_tool.sh get_task_data '{"task_id":"BV1xx411c7mD-123456","type":"comments"}'

执行流程

1. 健康检查：GET /（连不上则提醒用户先启动应用）。
2. 发起搜集：优先用 REST 端点（crawl.sh），需要额外工具参数时用 MCP（mcp_tool.sh）。
3. 结果处理：

- 给用户简要摘要（任务 ID、状态、关键字段） - 内容很多时仅展示前几条，说明可通过 get_task_data 继续读取或过滤

故障处理