屏幕视觉MCP服务器v2.0🚀
高级自动化MCP服务器，通过屏幕直接操作绕过限制滚动的页面。
v2.0新增功能
🤖 自动化功能
- click_element：按坐标或文本单击元素（基于OCR）
- 滚动页面：滚动页面（上下左右）
- 类型文本：自动输入文本
- 按键：运行键盘快捷键
- wait_for_element：等待特定元素出现
- 自动浏览：自动页面浏览和数据收集
🔍 OCR和愿景分析
- extract_text_from_screen：基于Tesseract.js的文本提取
- find_clickable_elements：自动检测可点击的UI元素
📸 现有功能（增强）
- capture_screen：屏幕截图
- 分析i元素：分析UI元素
- create_ui_guide：创建可视化指南
- create_answer_overlay：显示答案覆盖
🎯 滚动绕行方案
1.需要登录的网站
// 1. 현재 화면 캡처
await capture_screen({});
// 2. 로그인 버튼 클릭
await click_element({ text: "로그인" });
// 3. 아이디 입력
await click_element({ text: "아이디" });
await type_text({ text: "your_username", clear_before: true });
// 4. 비밀번호 입력
await press_key({ key: "tab" });
await type_text({ text: "your_password" });
// 5. 로그인 버튼 클릭
await click_element({ text: "로그인" });
// 6. 페이지 로딩 대기
await wait_for_element({ text: "대시보드", timeout: 10 });2.收集无限滚动数据
// 자동으로 스크롤하면서 데이터 수집
await automated_browse({
target_text: "더보기",
max_clicks: 10,
scroll_between_clicks: true,
extract_content: true
});3.绕过CAPTCHA或安全验证
// 1. 현재 화면 분석
await analyze_ui_elements({ focus_area: "전체화면" });
// 2. CAPTCHA 이미지에서 텍스트 추출
await extract_text_from_screen({
region: { x: 100, y: 200, width: 200, height: 50 }
});
// 3. 추출된 텍스트 입력
await click_element({ x: 300, y: 250 });
await type_text({ text: "추출된_텍스트" });🛠️ 安装和设置
1.安装依赖性
cd "D:\Projects\Testing-Lab\Experiments\screen-vision-mcp"
npm install2.增加新的依赖性
npm install robotjs tesseract.js3.构建
npm run build4.Claude桌面设置
{
"mcpServers": {
"screen-vision": {
"command": "node",
"args": ["D:/Projects/Testing-Lab/Experiments/screen-vision-mcp/dist/index.js"],
"env": {}
}
}
}🎮 使用示例
基本自动化工作流
1. capture_screen() - 현재 상태 확인
2. extract_text_from_screen() - 페이지 내용 읽기
3. find_clickable_elements() - 클릭 가능한 요소 찾기
4. click_element() - 원하는 요소 클릭
5. wait_for_element() - 페이지 로딩 대기
6. scroll_page() - 추가 콘텐츠 로드
7. automated_browse() - 반복 작업 자동화与Claude的对话示例
- “请登录本页”
- “向下滚动查找更多内容”
- “请找到‘下一页’按钮并点击”
- “请在这个表单上输入数据”
- “提取页面上的所有文本”
🔧 技术堆栈
- RobotJS：鼠标/键盘自动化
- Tesseract.js：OCR文本识别
- 夏普：图像处理和元数据
- 桌面截图：屏幕截图
- TypeScript：类型安全性
- MCP-SDK：模型上下文协议
注意事项
权限要求
- 视窗：辅助功能权限，管理员权限（首次运行时）
- macOS：访问权限，屏幕记录权限
- Linux：X11权限
安全注意事项
- 屏幕截图可能包含敏感信息
- 谨慎使用自动化脚本
- 需要遵守网站使用条款
性能优化
- OCR处理需要CPU密集型（建议指定区域）
- 屏幕截图存储在临时文件夹中
- 建议在收集大量数据时限制速度
🚨 道德使用
此工具仅用于以下目的：
- 提高可访问性
- 合法的数据收集
- 自动化个人业务
- 测试和开发
禁止事项：
- 未经授权的滚动
- 违反服务说明
- 擅自收集个人信息
- 使用恶意目的
______________________________________________________________________
版本: 2.0.0\ 开发者：助理\ 许可证：MIT\ 更新: 2025-05-25