Agent Skill · 前端设计

web-scraping（网页抓取）

用于辅助前端页面、组件、样式和交互逻辑的开发与维护。它适合让 Agent 生成或审查 React、Next.js、Vue、Tailwind、CSS 等相关代码，整理组件结构，或定位布局和性能问题。使用时需要结合项目现有设计系统、路由和构建方式，避免只生成孤立片段；涉及页面改动时，应配合本地预览和构建检查确认视觉效果。

web-scraping 是前端设计类 Agent Skill，可用宿主为 Codex、Claude、Cursor、Gemini CLI，通过GitHub 仓库获取，权限为操作浏览器；许可证为 MIT，第三方扫描有提醒项，按安装量在前端设计类的 10,216 个 Skill 里排第 265。

总安装 46,056周安装 1,904GitHub Stars 87下载 15,048核验 2026-05-01

前端设计操作浏览器 GitHub 仓库未标认证来源可访问许可证明确审计提醒 Codex Claude Cursor Gemini CLI

安装说明

本站只整理中文说明，不托管安装包，也不代用户安装。

GitHub

许可证: MIT

安装方式

通过对话安装

复制提示词发给支持本地命令或 Skills 的 AI 助手，先确认命令和权限，再让它执行。

请帮我安装这个 Agent Skill：web-scraping（网页抓取）
来源仓库：https://github.com/mindrally/skills
仓库路径：skills/web-scraping
安装命令：
npx skills add https://github.com/mindrally/skills --skill web-scraping
安装前请先检查当前环境是否支持对应 CLI，并向我确认将要执行的命令、安装目录、联网范围和文件读写权限；确认后再执行。

命令行安装

复制命令到本机终端执行。不同来源提供的安装方式可能略有差异；本站展示可直接复制的安装命令，安装前请核对来源页面。

skills.shnpx skills

npx skills add https://github.com/mindrally/skills --skill web-scraping

这个 Skill 是做什么的

前端设计类 Skill 关注页面结构、视觉规范和组件写法，输出通常是可运行的界面代码。

使用 Python 工具对静态、动态和大规模内容进行网页抓取和数据提取。

通过 requests 和 BeautifulSoup 支持静态站点，通过 Selenium 和 Playwright 支持动态内容，以及通过 Scrapy 和 firecrawl 支持大规模提取包括用于人工智能驱动的提取 (jina)、结构化查询 (agentQL) 和复杂的自动化工作流程 (multion) 的专用工具有关速率限制、robots.txt 合规性、错误处理、会话管理和分页的内置指南涵盖数据处理任务：清理、验证、编码处理、重复数据删除和高效存储

来源仓库内路径：skills/web-scraping

上手步骤

4 步

1
确认自己的宿主工具
公开资料标注支持 Codex、Claude、Cursor、Gemini CLI；先确认自己用的是其中之一，再按对应工具的 Skills 目录放置。
2
拿到安装命令
可以直接复制的命令是 npx skills add https://github.com/mindrally/skills --skill web-scraping；命令里的占位符换成自己的路径或密钥再执行。
3
安装后重启宿主
命令执行完要完全退出宿主工具再打开，让新装的 Skill 被重新扫描到，否则列表里可能看不到。
4
按最小权限试用
它需要操作浏览器，先在测试目录或测试账号里跑，确认没问题再放到正式项目。

常见问题

6 条

web-scraping 怎么安装？

在终端执行 npx skills add https://github.com/mindrally/skills --skill web-scraping。装完完全退出宿主工具再打开，让它重新扫描本地 Skill。

web-scraping 支持哪些 AI 工具？

公开资料标注支持 Codex、Claude、Cursor、Gemini CLI。其他工具只要能读取本地 Skill 目录，一般也能手动放进去，但要自己确认触发方式是否一致。

web-scraping 需要什么权限？

权限级别是操作浏览器。该 Skill 可能涉及浏览器控制能力，使用时可能读取或操作网页内容，需要在受控环境中确认权限边界。

web-scraping 是免费的吗？

来源标注的许可证是 MIT。本站不代收任何费用，也不托管安装包；能否商用、要不要署名，以许可证原文为准。

web-scraping 用的人多吗？

公开数据是累计安装 46,056 次，近一周安装 1,904 次，下载 15,048 次，GitHub 87 星。这些数字来自第三方目录统计，只能当作热度参考，不代表质量或安全性。

web-scraping 安全吗？

第三方扫描有提醒项，说明存在需要人工确认的行为。安装前请打开源码看清它读了什么、联网到哪里。

值得选的地方和要先想清楚的地方

值得选的地方

同时适配 4 种工具，换客户端不用重新找替代品。
3 个目录同时收录，说明这个 Skill 流传比较广。
许可证明确为 MIT，商用和分发边界好判断。

先想清楚的地方

第三方扫描存在提醒项或未通过项，需要人工逐条确认。
第三方目录整理，版本更新和行为细节以来源仓库为准。

适不适合你

更适合

已经在用 Codex，想直接扩展它能力的人。
需要处理前端设计类任务、又不想每次都手写提示词的人。

不太适合

需要厂商级技术支持和 SLA 的生产系统。

前端设计类 Skill 对比

6 个同类

Skill	总安装	GitHub 星	权限	许可证	扫描
frontend-design 前端设计 · Codex、Claude	8,823,360	126,072	只读	MIT	通过
vercel-composition-patterns Vercel 组合模式 · Codex、Claude	3,858,816	25,893	需要联网	MIT	通过
vercel-react-native-skills Vercel React native skills 前端 · Codex、Claude	2,468,664	25,878	只读	MIT	通过
adapt adapt 搜索 · Codex、Claude	2,027,040	23,125	操作浏览器	未明确	通过
bolder bolder 分析 · Codex、Claude	2,004,288	23,130	只读	未明确	通过
web-scraping 网页抓取 · 本页	46,056	87	操作浏览器	MIT	有提醒

按安装量取同分类前几名；数字来自第三方目录统计，只作热度参考，不代表质量结论。

SKILL.md 原文

Web Scraping

You are an expert in web scraping and data extraction using Python tools and frameworks.

Core Tools

Static Sites

Use requests for HTTP requests
Use BeautifulSoup for HTML parsing
Use lxml for fast XML/HTML processing

Dynamic Content

Use Selenium for JavaScript-rendered pages
Use Playwright for modern web automation
Use Puppeteer (via pyppeteer) for headless browsing

Large-Scale Extraction

Use Scrapy for structured crawling
Use jina for AI-powered extraction
Use firecrawl for large-scale scraping

Complex Workflows

Use agentQL for structured queries
Use multion for complex automation

Best Practices

Implement rate limiting and delays
Respect robots.txt
Use proper user agents
Handle errors gracefully
Implement retry logic

Error Handling

Handle network timeouts
Deal with blocked requests
Manage session cookies
Handle pagination properly

Ethical Considerations

Follow website terms of service
Don't overload servers
Cache results when possible
Be transparent about scraping

Data Processing

Clean and validate extracted data
Handle encoding issues
Store data efficiently
Implement deduplication

平台分布

OpenCode

28.48%

按下载量换算4,286

Claude Code

22.76%

按下载量换算3,425

Antigravity

20.44%

按下载量换算3,076

Gemini CLI

13.33%

按下载量换算2,006

Cursor

8.06%

按下载量换算1,213

Codex

3.88%

按下载量换算584

安全审计

Gen Agent Trust Hub

通过

Socket

通过

Snyk

可疑

权限和风险

操作浏览器

该 Skill 可能涉及浏览器控制能力，使用时可能读取或操作网页内容，需要在受控环境中确认权限边界。

安装前确认

本站仅展示第三方公开信息，不托管安装包，不提供自动安装或运行环境。安装前应自行审查源码、依赖和命令行为。来源安全扫描存在提醒或未通过项，安装前请自行复核。

继续浏览同类 Skills

更多前端设计 Skills（10,216）返回 Skills 目录

上一个 Skill

web-scraping（网页抓取）

tatat/agents-playground

下一个 Skill

web-screenshot（网页截图）

winsorllc/upgraded-carnival

web-screenshot 用于处理 GitHub 仓库、Issue、Pull Request 和代码协作信息，适合在 Codex、Claude、Cursor、Gemini CLI 中需要围绕仓库状态、代码变更或协作事项进行整理时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态，以及是否会触发联网、命令执行或文件读写。