Agent Skill · 待分类

smart-web-fetch（智能网页抓取）

smart-web-fetch 用于补充待分类相关能力，适合在 Local Agent 中需要让 Agent 承接待分类相关任务时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态，以及是否会触发联网、命令执行或文件读写。

smart-web-fetch 是待分类类 Agent Skill，可用宿主为 Local Agent，通过unknown获取，权限为需要联网；许可证信息还不明确，暂无第三方扫描结果，按安装量在待分类类的 11,209 个 Skill 里排第 10,107。

总安装 214周安装 9下载 75核验 2026-05-01

待分类需要联网 unknown未标认证来源可访问许可证需确认审计未展示Local Agent

安装说明

本站只整理中文说明，不托管安装包，也不代用户安装。

许可证: unknown

安装方式

通过对话安装

复制提示词发给支持本地命令或 Skills 的 AI 助手，先确认命令和权限，再让它执行。

请帮我安装这个 Agent Skill：smart-web-fetch（智能网页抓取）
来源仓库：https://gitee.com
仓库路径：smart-web-fetch
安装命令：
安装前请先检查当前环境是否支持对应 CLI，并向我确认将要执行的命令、安装目录、联网范围和文件读写权限；确认后再执行。

命令行安装

复制命令到本机终端执行。当前暂无明确安装命令，请以来源页面说明为准。

这个 Skill 是做什么的

这个 Skill 的分类还没最终确定，用法以来源仓库的说明为准。

用于补充待分类相关能力。smart-web-fetch 属于待分类类 Skill，可作为该场景下的辅助能力补充。适合在 Local Agent 中承接待分类相关任务。暂无明确安装命令，需参考来源站点获取使用方式。建议确认权限范围和维护状态，注意可能触发联网或文件操作。可结合来源站点进一步了解具体功能和使用方法。

来源仓库内路径：smart-web-fetch

上手步骤

4 步

1
确认自己的宿主工具
公开资料标注支持 Local Agent；先确认自己用的是其中之一，再按对应工具的 Skills 目录放置。
2
拿到安装命令
没有现成安装命令，按unknown的说明从来源页面获取，仓库路径是 smart-web-fetch。
3
安装后重启宿主
命令执行完要完全退出宿主工具再打开，让新装的 Skill 被重新扫描到，否则列表里可能看不到。
4
按最小权限试用
它需要需要联网，先在测试目录或测试账号里跑，确认没问题再放到正式项目。

常见问题

6 条

smart-web-fetch 怎么安装？

公开资料没有给出可以直接复制的命令，需要按来源页面说明手动安装，仓库内路径为 smart-web-fetch。

smart-web-fetch 支持哪些 AI 工具？

公开资料标注支持 Local Agent。其他工具只要能读取本地 Skill 目录，一般也能手动放进去，但要自己确认触发方式是否一致。

smart-web-fetch 需要什么权限？

权限级别是需要联网。该 Skill 可能需要联网访问来源站点、仓库或外部 API；具体网络访问范围需要结合源码和 README 复核。

smart-web-fetch 是免费的吗？

公开资料没有标注明确许可证，收费和商用限制都无法确认。正式使用前请到来源仓库核对授权说明。

smart-web-fetch 用的人多吗？

公开数据是累计安装 214 次，近一周安装 9 次，下载 75 次。这些数字来自第三方目录统计，只能当作热度参考，不代表质量或安全性。

smart-web-fetch 安全吗？

没有查到第三方扫描结果，安全性无法从公开资料判断，安装前请自行审查源码、依赖和命令行为。

值得选的地方和要先想清楚的地方

值得选的地方

专注 Local Agent 一种宿主，触发方式和使用习惯不用来回切换。

先想清楚的地方

许可证没有明确标注，能不能商用、能不能再分发都不确定。
没有第三方扫描结果，安全性只能靠自己读源码判断。
第三方目录整理，版本更新和行为细节以来源仓库为准。

适不适合你

更适合

已经在用 Local Agent，想直接扩展它能力的人。
需要处理待分类类任务、又不想每次都手写提示词的人。

不太适合

需要明确授权才能用到公司项目里的场景。
要求有安全扫描结论才肯安装的团队。
需要厂商级技术支持和 SLA 的生产系统。

待分类类 Skill 对比

6 个同类

Skill	总安装	GitHub 星	权限	许可证	扫描
infsh-cli infsh CLI · Codex、Claude	4,374,576	382	权限未标注	未明确	未收录
ai-video-generation AI 视频生成 · Codex、Claude	4,313,376	382	调用外部服务	未明确	有提醒
lark-openapi-explorer 云雀 OpenAPI 浏览器 · Codex、Claude	2,064,120	9,011	需要联网	未明确	有提醒
lark-workflow-standup-report Lark 工作流程站立报告 · Codex、Claude	2,041,632	8,978	需要联网	未明确	通过
use-my-browser 使用我的浏览器 · Codex、Claude	1,848,491	40	操作浏览器	未明确	未通过
smart-web-fetch 智能网页抓取 · 本页	214	—	需要联网	未明确	未收录

按安装量取同分类前几名；数字来自第三方目录统计，只作热度参考，不代表质量结论。

SKILL.md 原文

Smart Web Fetch

当需要抓取网页正文并转为干净 Markdown 时，优先使用本 skill 自带脚本 scripts/smart_web_fetch.py。

Quick Start

先看帮助（不要先读源码）：

python3 scripts/smart_web_fetch.py --help

抓取并输出 Markdown：

python3 scripts/smart_web_fetch.py "https://example.com"

输出结构化 JSON（包含 provider/title/source_url/markdown）：

python3 scripts/smart_web_fetch.py "https://example.com" --json

对需要登录态或验证态的页面传入 Cookie：

python3 scripts/smart_web_fetch.py "https://mp.weixin.qq.com/s?..." --service wechat --cookie "name=value; name2=value2"

也可以从文件读取 Cookie：

python3 scripts/smart_web_fetch.py "https://mp.weixin.qq.com/s?..." --service wechat --cookie-file ./wechat.cookie

Providers (Auto Routing)

默认 --service auto 会并行请求：

jina: https://r.jina.ai/<original_url>
wechat: 对 mp.weixin.qq.com 调用本地 wechat-article-extractor，提取结构化字段后再转为 Markdown
scrapling: 本机已安装 scrapling + html2text 时启用，优先抽取正文节点并转 Markdown
markdown.new: https://markdown.new/<original_url>（必要时 fallback 到 POST https://markdown.new/）
defuddle: https://defuddle.md/<original_url_without_scheme>（例如 defuddle.md/example.com/path）

脚本会做有效性校验（长度/错误关键字/HTML 假返回），选择“第一个有效结果”，并取消其他请求。

对于 mp.weixin.qq.com，会优先尝试 wechat-article-extractor，再尝试 scrapling，避免浪费 Jina 配额。若文章被微信环境校验拦截，可通过 --cookie 或 --cookie-file 传入浏览器中的 Cookie 请求头重试。

Notes

基础依赖：系统需要有 python3 与 curl
微信增强：系统需要有 node，并且 wechat-article-extractor 的 npm 依赖已安装
可选增强：安装 scrapling 与 html2text 后，可获得更强的反爬能力与更干净的正文提取
推荐安装：pip install "scrapling[fetchers]" html2text && scrapling install
不适用：登录/支付/上传/强交互页面、或被严格反爬/验证码拦截页面
需要调参时用：--timeout、--min-chars、--service、--cookie、--cookie-file

平台分布

Local Agent

89.94%

按下载量换算67

安全审计

暂无安全审计结果可展示。

权限和风险

需要联网

该 Skill 可能需要联网访问来源站点、仓库或外部 API；具体网络访问范围需要结合源码和 README 复核。

安装前确认

本站仅展示第三方公开信息，不托管安装包，不提供自动安装或运行环境。安装前应自行审查源码、依赖和命令行为。目前只有一个公开来源，建议同时核对源仓库。

继续浏览同类 Skills

更多待分类 Skills（11,209）返回 Skills 目录

上一个 Skill

smart-web-fetch（智能网页抓取）

来源未标注

下一个 Skill

smartthings-cli（smartthings CLI 命令行）

401unauthorized/smartthings-skills

smartthings-cli 用于处理 GitHub 仓库、Issue、Pull Request 和代码协作信息，适合在 Codex、Claude、Cursor、Gemini CLI 中需要围绕仓库状态、代码变更或协作事项进行整理时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态，以及是否会触发联网、命令执行或文件读写。