科技新闻每日推送技能 v5.9.1
自动抓取 LightReading 和 TechCrunch 科技新闻网站文章，AI 翻译生成中文摘要并自动推送到企业微信。
技能描述
每天上午 11 点自动抓取 LightReading（电信网络）和 TechCrunch（科技创业）最新新闻，智能选择文章（确保两个网站都有代表），提取文章要点，由 AI 翻译成中文后推送到企业微信。全流程自动化，无需手动修改代码。
功能特点
- 多网站支持: LightReading（电信）+ TechCrunch（科技创业）
- Cloudflare 绕过: 使用 cloudscraper 库绕过网站反爬虫保护
- 智能抓取: 从网页全文提取 20-30 段有效内容
- 智能筛选: 优先 Iain Morris 文章，确保两个网站都有代表
- AI 翻译: 由 AI 助手直接翻译英文内容，无需外部翻译 API
- 定时推送: 每天上午 11 点自动推送到企业微信
- 纯中文推送: 只推送中文翻译版，不推送英文原文
- 全自动化: 内容从文件动态读取，每天自动更新，无需修改代码
- 双网站保证: 每次推送至少包含 LightReading 和 TechCrunch 各 1 篇
推送格式
合并推送（默认）
- 重点推荐（1 篇）：优先 Iain Morris 文章（LightReading），4 个要点
- 其他精选（3 篇）：
- 至少 1 篇 TechCrunch ✅ - 至少 1 篇 LightReading ✅ - 每篇 4 个要点
单独推送（可选）
- LightReading：1 篇重点推荐 + 3 篇其他精选
- TechCrunch：3 篇精选文章
使用方法
1. 安装依赖
pip install cloudscraper2. 配置企业微信 Webhook
编辑推送脚本文件：
WEBHOOK_URL = "https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=YOUR_KEY_HERE"3. 手动测试推送
cd skills/tech-news-daily
# 合并推送（推荐）：LightReading + TechCrunch
python push_combined.py
# 单独推送（备用）
python push_wechat.py # 仅 LightReading4. 定时任务
Cron 任务配置：
- 任务名称: 科技新闻每日推送 (Skill)
- 任务 ID:
260be0fa-ab1b-4c73-a2fe-bed9e722cc7d - 执行时间: 每天上午 11:00（Asia/Shanghai 时区）
- 任务流程: 自动完成抓取 → 翻译 → 推送
文件结构
tech-news-daily/
├── SKILL.md # 技能说明文档
├── README.md # 使用说明
├── push_combined.py # 合并推送（LightReading + TechCrunch）✅ 主脚本
├── push_wechat.py # LightReading 单独推送（备用）
├── push_chinese.py # 读取 today_cn.txt 推送（备用）
├── ai_translate.py # AI 翻译助手
├── parse_email.py # 邮件内容解析（备用）
├── email_webhook.py # 邮件 Webhook 服务器（备用）
├── requirements.txt # Python 依赖
├── combined_en.txt # 合并推送英文（每天自动生成）
├── combined_cn.txt # 合并推送中文（每天自动生成）
├── today_en.txt # LightReading 英文（每天自动生成）
├── today_cn.txt # LightReading 中文（每天自动生成）
├── techcrunch_en.txt # TechCrunch 英文（每天自动生成）
├── techcrunch_cn.txt # TechCrunch 中文（每天自动生成）
└── pushed_history.json # 推送历史记录（自动生成）依赖要求
- Python 3.8+
cloudscraper>=1.2.71- 绕过 Cloudflare 反爬虫
技术实现
- cloudscraper 绕过 Cloudflare 保护
- RSS Feed 获取最新文章列表
- 网页全文抓取 根据 URL 抓取完整文章内容（多种方式）
- 正则提取 网页段落内容（200-5000 字符）
- 智能过滤 排除广告、footer、无关内容
- AI 总结 由 AI 助手阅读英文全文后总结成中文要点（不是翻译）
- 文件存储 英文和中文分别保存到文件，动态读取
- 去重逻辑 避免重复推送相同文章
- 智能选择 重点推荐优先 Iain Morris 文章
- 内容验证 英文内容不足 200 字符时自动更换文章
- RSS 补充 网页内容不足时自动使用 RSS 描述补充
- 标准化验证 推送前检查清单（作者、时间、来源、要点）
- 自动化抓取 自动获取作者信息，不凭印象编写
- 作者提取 多种正则表达式（JSON-LD、Meta、Author class、By 开头），过滤无效信息
v4.0 多网站支持
- ✅ 新增 TechCrunch 网站支持
- ✅ LightReading + TechCrunch 双源推送
- ✅ 统一的推送格式和 Webhook 配置
- ✅ 内容从文件动态读取（today_cn.txt）
- ✅ 移除硬编码中文内容
- ✅ 每天自动更新，无需修改代码
自动化流程（v5.3）
每天上午 11 点自动触发 Cron 任务（10 分钟超时）
↓
┌──────────────────────────┐
│ 【第 1 步】运行脚本 │
│ - 抓取 LightReading RSS │
│ - 抓取 TechCrunch RSS │
│ - 抓取网页全文 │
│ - ✅ 验证内容 ≥ 200 字符 │
│ - ✅ 不足则自动更换文章 │
│ - 确保所有文章都有充足内容│
│ - 保存英文文件 │
└──────────────────────────┘
↓
┌──────────────────────────┐
│ 【第 2 步】AI 总结 │
│ - 读取 combined_en.txt │
│ - 阅读英文全文，理解内容 │
│ - 总结成 2-4 个中文要点 │
│ - 不是翻译，是总结 │
│ - 更新 combined_cn.txt │
└──────────────────────────┘
↓
┌──────────────────────────┐
│ 【第 3 步】推送 │
│ - ✅ 检查占位符 │
│ - 有占位符 → 跳过 │
│ - 无占位符 → 推送 │
└──────────────────────────┘注意事项
- LightReading 和 TechCrunch 都有 Cloudflare 保护，必须使用 cloudscraper
- 企业微信 Webhook 需要预先在企业微信中配置机器人
- 推送时间为 Asia/Shanghai 时区
- 每天上午 11 点检查并推送
- 如果网页抓取失败，会自动重试（最多 3 次，每次间隔 5 秒）
- 超时时间设置为 60 秒，适应慢速网络
- AI 翻译模式无需任何 API 密钥配置
- AI 翻译模式无需任何 API 密钥配置
combined_en.txt、today_en.txt、techcrunch_en.txt自动更新- AI 翻译后分别保存到
combined_cn.txt、today_cn.txt、techcrunch_cn.txt
版本历史
- v5.9.1 (2026-04-15): 推送流程修复
- ✅ 修复脚本逻辑：没有中文文件时不推送，等待 AI 翻译 - ✅ 确保完整流程：抓取 → 保存英文 → AI 翻译 → 推送 - ✅ 移除快速推送模式，保证推送质量 - ✅ 定时任务配置更新，支持完整自动化流程
- v5.9 (2026-04-11): 作者抓取改进
- ✅ 多种正则表达式提取作者（JSON-LD、Meta、Author class、By 开头） - ✅ 过滤无效作者信息（邮箱、超长字符串） - ✅ TechCrunch 作者抓取修复 - ✅ LightReading 作者抓取修复 - ✅ 确保作者信息准确可靠
- v5.8 (2026-04-11): 中英文同步修复
- ✅ 保存英文后自动删除旧中文文件 - ✅ 强制 AI 重新翻译最新内容 - ✅ 推送前检查中文文件时间戳 - ✅ 确保中英文实时同步
- v5.7 (2026-04-11): 作者抓取修复
- ✅ TechCrunch RSS 命名空间修复 - ✅ LightReading 网页作者提取 - ✅ 作者信息自动更新到文章数据 - ✅ 确保推送内容作者准确
- v5.6 (2026-04-11): 标准化验证流程
- ✅ 推送前检查清单（作者、时间、来源、要点） - ✅ 自动化抓取作者信息 - ✅ 要点逐句对照原文验证 - ✅ 不编造原文没有的信息 - ✅ 推送前预览供人工验证
- v5.5 (2026-04-11): 改进全文抓取
- ✅ 降低抓取阈值（30→20 字符） - ✅ 多种方式抓取（段落+article+div） - ✅ RSS 描述自动补充网页内容不足 - ✅ 增加长度限制（3000→5000 字符） - ✅ 去重处理，移除重复句子
- v5.4 (2026-04-11): 确保 4 篇文章
- ✅ 必须总结全部 4 篇文章（1 篇重点 + 3 篇其他） - ✅ 不能遗漏其他精选 - ✅ 内容不足时从 RSS 描述补充
- v5.3 (2026-04-11): 内容不足更换文章
- ✅ 英文内容不足 200 字符时，自动更换新文章 - ✅ 不再说明"信息有限" - ✅ 确保推送的文章都有充足内容
- v5.2 (2026-04-11): AI 总结（非翻译）
- ✅ AI 阅读英文全文后总结成中文要点 - ✅ 不是逐句翻译，是理解后总结 - ✅ 总结 2-4 个要点，每点 2-3 句话 - ✅ 基于英文内容，不编造信息
- v5.1 (2026-04-11): 三大要求
- ✅ 有占位符不推送 - ✅ 内容少于 3 点重新选文章 - ✅ 从英文直接总结中文要点 - ✅ 不编造信息
- v5.0 (2026-04-11): AI 翻译规范
- ✅ AI 翻译严格基于英文原文 - ✅ 不编造原文没有的信息 - ✅ 有几点翻译几点，不强求 4 个要点 - ✅ 内容不足时说明"信息有限"
- v4.9 (2026-04-11): 测试验证
- ✅ 完整流程测试通过（抓取 → 翻译 → 推送） - ✅ 网络故障时使用现有英文文件 - ✅ 确保推送不中断 - ✅ Cron 任务配置验证
- v4.8 (2026-04-11): Cron 明确指令
- ✅ Cron 任务包含明确的三步指令 - ✅ AI 在同一个 agentTurn 中完成抓取 + 翻译 + 推送 - ✅ 不再依赖脚本内调用 AI - ✅ 确保每次执行都翻译最新英文
- v4.7 (2026-04-11): 完整自动化
- ✅ Cron 任务完整执行（抓取 → AI 翻译 → 推送） - ✅ AI 自动翻译最新英文，无需人工干预 - ✅ 中英文实时同步，不再忘记翻译 - ✅ 超时时间延长到 10 分钟
- v4.6 (2026-04-11): Cron 自动翻译
- ✅ Cron 任务包含完整流程（抓取 → 翻译 → 推送） - ✅ AI 每次自动翻译最新英文内容 - ✅ 不再依赖人工干预 - ✅ 确保中英文实时同步
- v4.5 (2026-04-11): 全文抓取 + 智能选择
- ✅ 自动抓取网页全文（非仅 RSS 描述） - ✅ AI 根据全文翻译中文要点 - ✅ 重点推荐优先 Iain Morris 文章 - ✅ 无 Iain Morris 时显示提示
- v4.4 (2026-04-11): 三文件生成
- ✅ 生成 combined_en.txt（合并英文） - ✅ 生成 today_en.txt（LightReading 单独英文） - ✅ 生成 techcrunch_en.txt（TechCrunch 单独英文） - ✅ AI 可分别翻译三个文件
- v4.3 (2026-04-11): 推送验证
- ✅ 检查中文翻译是否完成（无占位符） - ✅ 翻译未完成时跳过推送 - ✅ 避免推送带 [AI 翻译] 或 [待翻译] 的内容
- v4.2 (2026-04-11): 双网站保证
- ✅ 确保每次推送至少包含两个网站各 1 篇 - ✅ 其他精选：至少 1 篇 TechCrunch + 1 篇 LightReading - ✅ 智能选择逻辑优化
- v4.1 (2026-04-11): 合并推送
- ✅ 新增 push_combined.py 合并推送脚本 - ✅ 重点推荐优先选择 Iain Morris 文章 - ✅ 其他精选从两个网站混合选择 - ✅ 生成 combined_en.txt 和 combined_cn.txt
- v4.0 (2026-04-11): 多网站支持
- ✅ 新增 TechCrunch 网站支持 - ✅ LightReading + TechCrunch 双源推送 - ✅ 统一的推送格式和 Webhook 配置
- v3.2 (2026-04-11): 增加推送频率
- ✅ 推送频率从每天 1 次改为每 3 小时一次 - ✅ 每天自动检查新文章（8 次/天） - ✅ 增加重试机制（最多 3 次） - ✅ 超时时间增加到 60 秒
- v3.1 (2026-04-11): 全自动化流程
- ✅ 内容从文件动态读取（today_cn.txt） - ✅ 移除硬编码中文内容 - ✅ 新增 ai_translate.py 翻译助手
- v3.0 (2026-04-11): AI 翻译模式
- ✅ 移除百度翻译 API 依赖 - ✅ 由 AI 助手直接翻译并推送
作者
OpenClaw Skills
许可证
MIT License