- name
- novel-scraper-pro
- description
- >-
Novel Scraper Pro
概述
Novel Scraper Pro 是智能小说抓取工具，支持自动翻页、分页补全、章节号解析、内存监控、中断续抓等功能。 使用 curl+BeautifulSoup 抓取笔趣阁等小说网站，输出格式化 TXT 文件。
快速开始
# 安装
clawhub install novel-scraper-pro
# 单章抓取
python3 scripts/scraper.py --url "https://www.bqquge.com/4/1962"
# 批量抓取（1-100 章）
python3 scripts/scraper.py --chapters "1-100" --book "书名"
# 中断续抓（默认开启）
python3 scripts/scraper.py --chapters "1-100" --book "书名"
# 中途 Ctrl+C 后，再次运行相同命令会自动从断点继续
功能特性
核心功能（V5 保留，100%）
| 功能 | 说明 |
|---|
| ✅ 章节号自动解析 | 从标题提取章节号，自动修正 URL 推算错误 |
| ✅ 分页自动检测 | 检测"下一页"链接，自动补全分页（最多 5 页） |
| ✅ 内容质量验证 | 段落数检查、结束标记检测 |
| ✅ 非小说内容跳过 | 智能判断并跳过作者感言、抽奖预告等 |
| ✅ 目录页 fallback | 连续失败 2 次自动切换目录页模式 |
| ✅ 连续性检查 | 缺章检测与警告 |
| ✅ 缓存系统 | 章节级缓存，重复抓取秒级返回 |
| ✅ 合并保存 | 每 10 章合并为一个文件 |
V6 新增功能
| 功能 | 默认状态 | 说明 |
|---|
| 🧠 内存监控 | ✅ 开启 | 超过 2500MB 自动 GC 并等待 |
| 💾 中断续抓 | ✅ 开启 | 进度自动保存，可随时中断续抓 |
| 🌐 SPA 支持 | ❌ 关闭 | --force-spa 启用浏览器抓取 |
CLI 参数
基础参数
| 参数 | 说明 | 示例 |
|---|
--url | 单章 URL | --url "https://..." |
--urls | 多章 URL（逗号分隔） | --urls "url1,url2,..." |
--chapters | 章节号范围 | --chapters "1-100" |
--book / -b | 书名 | --book "书名" |
--merge-interval | 每 N 章合并（默认 10） | --merge-interval 10 |
质量选项
| 参数 | 说明 |
|---|
--strict | 严格质量验证（字符数<1000 警告） |
-v / --verbose | 详细日志输出 |
V6 新增参数
| 参数 | 说明 | 默认 |
|---|
--no-memory-monitor | 关闭内存监控 | 开启 |
--no-resume | 关闭中断续抓 | 开启 |
--force-spa | 强制使用浏览器抓取 SPA 网站 | 关闭 |
使用场景
场景 1：批量抓取小说
# 抓取第 1-100 章
python3 scripts/scraper.py --chapters "1-100" --book "没钱修什么仙"
# 输出：
# novels/没钱修什么仙_第 1-10 章.txt
# novels/没钱修什么仙_第 11-20 章.txt
# ...
场景 2：中断续抓
# 开始抓取 500 章
python3 scripts/scraper.py --chapters "1-500" --book "书名"
# 中途 Ctrl+C 中断
# 再次运行，自动从断点继续
python3 scripts/scraper.py --chapters "1-500" --book "书名"
# 输出：✅ 跳过已完成 237 章
场景 3：分页章节补全
# 自动检测并补全分页章节
python3 scripts/scraper.py --chapters "1-100" --book "书名"
# 输出：
# 📄 检测到 3 个分页章节，自动补全...
# ✅ 补全完成，共 156 段
场景 4：SPA 网站抓取
# 强制使用浏览器抓取 SPA 网站
python3 scripts/scraper.py --url "https://spa-novel.com/chapter/1" --force-spa
辅助工具
fetch_catalog.py - 目录页抓取
# 抓取目录页，生成章节 URL 映射
python3 scripts/fetch_catalog.py
extract_urls.py - URL 提取
# 从目录文件提取指定章节范围的 URL
python3 scripts/extract_urls.py 1 100
merge_novels.py - 文件合并与完整性检查
# 合并已抓取的分散文件并检查缺失
python3 scripts/merge_novels.py --book "书名" --range 1 100
输出位置
抓取的小说保存在：~/.openclaw/workspace/novels/
文件名格式：书名_第 X-Y 章.txt
依赖
- Python 3.8+
- beautifulsoup4
pip install beautifulsoup4
版本
- 当前版本: v2.0.0
- 基础: scraper_v5.py（智能版）
- 新增: 内存监控、中断续抓、SPA 支持
常见问题
Q: 如何关闭内存监控？
python3 scripts/scraper.py --chapters "1-100" --book "书名" --no-memory-monitor
Q: 如何关闭中断续抓？
python3 scripts/scraper.py --chapters "1-100" --book "书名" --no-resume
Q: 如何清空进度重新抓取？
rm ~/.openclaw/workspace/skills/novel-scraper-pro/state/progress.json
python3 scripts/scraper.py --chapters "1-100" --book "书名"
Q: 缓存在哪里？如何清理？
# 缓存位置
/tmp/novel_scraper_cache/
# 清理缓存
rm -rf /tmp/novel_scraper_cache/*
