Screen Vision MCP

屏幕视觉MCP服务器v2.0🚀

高级自动化MCP服务器，通过屏幕直接操作绕过限制滚动的页面。

v2.0新增功能

🤖 自动化功能

• click_element：按坐标或文本单击元素（基于OCR）
• 滚动页面：滚动页面（上下左右）
• 类型文本：自动输入文本
• 按键：运行键盘快捷键
• wait_for_element：等待特定元素出现
• 自动浏览：自动页面浏览和数据收集

🔍 OCR和愿景分析

• extract_text_from_screen：基于Tesseract.js的文本提取
• find_clickable_elements：自动检测可点击的UI元素

📸 现有功能（增强）

• capture_screen：屏幕截图
• 分析i元素：分析UI元素
• create_ui_guide：创建可视化指南
• create_answer_overlay：显示答案覆盖

🎯 滚动绕行方案

1.需要登录的网站

// 1. 현재 화면 캡처
await capture_screen({});

// 2. 로그인 버튼 클릭
await click_element({ text: "로그인" });

// 3. 아이디 입력
await click_element({ text: "아이디" });
await type_text({ text: "your_username", clear_before: true });

// 4. 비밀번호 입력
await press_key({ key: "tab" });
await type_text({ text: "your_password" });

// 5. 로그인 버튼 클릭
await click_element({ text: "로그인" });

// 6. 페이지 로딩 대기
await wait_for_element({ text: "대시보드", timeout: 10 });

2.收集无限滚动数据

// 자동으로 스크롤하면서 데이터 수집
await automated_browse({
  target_text: "더보기",
  max_clicks: 10,
  scroll_between_clicks: true,
  extract_content: true
});

3.绕过CAPTCHA或安全验证

// 1. 현재 화면 분석
await analyze_ui_elements({ focus_area: "전체화면" });

// 2. CAPTCHA 이미지에서 텍스트 추출
await extract_text_from_screen({ 
  region: { x: 100, y: 200, width: 200, height: 50 } 
});

// 3. 추출된 텍스트 입력
await click_element({ x: 300, y: 250 });
await type_text({ text: "추출된_텍스트" });

🛠️ 安装和设置

1.安装依赖性

cd "D:\Projects\Testing-Lab\Experiments\screen-vision-mcp"
npm install

2.增加新的依赖性

npm install robotjs tesseract.js

3.构建

npm run build

4.Claude桌面设置

{
  "mcpServers": {
    "screen-vision": {
      "command": "node",
      "args": ["D:/Projects/Testing-Lab/Experiments/screen-vision-mcp/dist/index.js"],
      "env": {}
    }
  }
}

🎮 使用示例

基本自动化工作流

1. capture_screen() - 현재 상태 확인
2. extract_text_from_screen() - 페이지 내용 읽기
3. find_clickable_elements() - 클릭 가능한 요소 찾기
4. click_element() - 원하는 요소 클릭
5. wait_for_element() - 페이지 로딩 대기
6. scroll_page() - 추가 콘텐츠 로드
7. automated_browse() - 반복 작업 자동화

与Claude的对话示例

• “请登录本页”
• “向下滚动查找更多内容”
• “请找到‘下一页’按钮并点击”
• “请在这个表单上输入数据”
• “提取页面上的所有文本”

🔧 技术堆栈

• RobotJS：鼠标/键盘自动化
• Tesseract.js：OCR文本识别
• 夏普：图像处理和元数据
• 桌面截图：屏幕截图
• TypeScript：类型安全性
• MCP-SDK：模型上下文协议

注意事项

权限要求

• 视窗：辅助功能权限，管理员权限（首次运行时）
• macOS：访问权限，屏幕记录权限
• Linux：X11权限

安全注意事项

• 屏幕截图可能包含敏感信息
• 谨慎使用自动化脚本
• 需要遵守网站使用条款

性能优化

• OCR处理需要CPU密集型（建议指定区域）
• 屏幕截图存储在临时文件夹中
• 建议在收集大量数据时限制速度

🚨 道德使用

此工具仅用于以下目的：

• 提高可访问性
• 合法的数据收集
• 自动化个人业务
• 测试和开发

禁止事项：

• 未经授权的滚动
• 违反服务说明
• 擅自收集个人信息
• 使用恶意目的

______________________________________________________________________

版本: 2.0.0\ 开发者：助理\ 许可证：MIT\ 更新: 2025-05-25