tophot-chinese（热门中文）

技能：今日热榜爬虫与内容抓取 (TopHub Spider)

1. 环境依赖与安装 (Prerequisites)

如果系统尚未安装相关依赖，Agent 应参考以下步骤进行环境部署：

1. 核心库安装: pip install crawl4ai requests tqdm pypinyin（若 pip 不可用则用 pip3）
2. 浏览器内核初始化: python -m playwright install chromium（若 python 不可用则用 python3）

注意: 以下命令中的 python 在部分平台可能需要替换为 python3，Agent 应自行判断当前环境使用哪个。

2. 技能描述

本技能由两个脚本组成，职责分离：

典型工作流：

1. 用 {baseDir}/scripts/tophub_spider.py 拉取某网站热榜 → 生成 {保存路径}/{网站拼音}/{标题}.json
2. 用 {baseDir}/scripts/fetch_site_content.py 对单个文件或整个目录抓取正文内容

3. 核心指令集

3.1 {baseDir}/scripts/tophub_spider.py — 获取热榜列表

获取指定网站热榜（全部）：

python {baseDir}/scripts/tophub_spider.py <网站名称>

获取前 N 条：

python {baseDir}/scripts/tophub_spider.py <网站名称> --top <数量>

指定保存路径：

python {baseDir}/scripts/tophub_spider.py <网站名称> --output <路径> --top <数量>

查看所有可用站点：

python {baseDir}/scripts/tophub_spider.py

3.2 {baseDir}/scripts/fetch_site_content.py — 抓取正文内容

抓取单个文件（回写到原文件的 content 字段）：

python {baseDir}/scripts/fetch_site_content.py <文件.json>

抓取单个文件（保存到指定文件）：

python {baseDir}/scripts/fetch_site_content.py <文件.json> --output <输出文件.json>

批量抓取目录下所有文件（回写到各原文件）：

python {baseDir}/scripts/fetch_site_content.py <目录路径>

批量抓取并保存到另一个目录：

python {baseDir}/scripts/fetch_site_content.py <目录路径> --output <输出目录>

强制重新抓取 + 只处理前 N 个：

python {baseDir}/scripts/fetch_site_content.py <目录路径> --force --top <数量>

4. 参数说明

{baseDir}/scripts/tophub_spider.py

支持的网站名称（数据来源于 tophub.today，实际可用站点以运行时为准）：

提示: 不确定时可运行 python {baseDir}/scripts/tophub_spider.py 查看当前所有可用站点。

{baseDir}/scripts/fetch_site_content.py

5. 输出结构

{baseDir}/scripts/tophub_spider.py 生成的文件

<保存路径>/
  <网站拼音>/              # 如 zhi_hu、wei_xin
    <标题1>.json           # 标题中所有符号替换为下划线
    <标题2>.json
    ...

每个 JSON 文件包含（此时 content 为空）：

{
  "title": "文章标题",
  "description": "简介",
  "url": "原始链接",
  "created_at": "创建时间",
  "content": ""
}

{baseDir}/scripts/fetch_site_content.py 抓取后

回写模式（无 --output）：直接将 content 字段填入原文件，并添加 fetched_at 和 error 字段。

输出模式（有 --output）：保存到指定路径，包含完整字段：

{
  "title": "文章标题",
  "description": "简介",
  "url": "原始链接",
  "fetched_at": "抓取时间",
  "content": "Markdown 正文内容",
  "error": null
}

6. 使用示例

7. 约束与安全

• 隐私声明: 仅抓取公开可访问的热榜内容，不涉及登录态数据。
• 频率控制: 每条抓取间隔 1 秒，微信链接额外等待 2 秒，避免触发反爬。
• 数据来源: 热榜列表来自 tophub.today，正文通过 Crawl4AI 抓取原始链接。