简单的多模型Web Scraper MCP服务器
这个项目是一个模型上下文协议（MCP）服务器的示例，它公开了使用Python进行网络抓取、情感分析和文本生成的多个工具。
特性
- scrape_网页：从任何给定的URL获取标题和可见文本。
- 分析状态：使用HuggingFace Transformers分析给定文本的情感。
- generate_text：使用HuggingFace Transformers根据提示生成文本。
需求
- Python 3.8+
- 安装依赖项：
- pip install -r requirements.txt - （如果不存在，请创建 requirements.txt 与： requests beautifulsoup4 transformers torch mcp)
用法
- 激活您的虚拟环境
- Windows PowerShell： ./mcp-env/Scripts/Activate.ps1
- 运行服务器
- python mcp-env/webscraper_server.py
- 通过MCP客户端或VS Code MCP扩展进行连接
- 使用MCP侧栏以交互方式调用工具。
示例工具
scrape_webpage(url)：返回页面标题和可见文本的前1000个字符。analyze_sentiment(text)：返回情绪标签和分数。generate_text(prompt, max_length=100)：返回为提示生成的文本。
备注
- 一些网站（如YouTube或Flipkart）可能会限制抓取或要求自定义标题。
- 对于动态内容（例如，JavaScript密集型网站），可以考虑使用Selenium或Playwright。
许可证
麻省理工学院