Screen Intelligence Service

🎯 屏幕智能MCP服务

通过ThinkDrop AI的视觉覆盖，快速、本地、语义化的屏幕理解。

特性

• 🔍 筛分试验：使用辅助功能API查询UI元素
• 🎨 视觉叠加：通过亮点和指南显示AI“看到”的内容
• 🖱️ UI自动化：单击、键入并与应用程序交互
• 📊 发现模式：检查所有UI元素，如Playwright Inspector
• ⚡ 快速：\安全与隐私>隐私>辅助功能

视窗🚧 （TODO-实施指南可用）

• 适配器: WindowsUIAAdapter （占位符）
• 技术：UI自动化（UIA）
• 实施方案:

- node ffi-napi用于原生COM API - edge js for。NET UIA库 - PowerShell网桥

• 看: PLATFORM_IMPLEMENTATION_GUIDE.md 详细说明
• 占位符: src/adapters/accessibility/windows.js

Linux🚧 （TODO-实施指南可用）

• 适配器: LinuxATSPIAdapter （占位符）
• 技术：AT-SPI（辅助技术服务提供商接口）
• 实施方案:

- 用于D-Bus通信的节点dbus - Python桥接到pyatspi2 - X11自动化回退

• 看: PLATFORM_IMPLEMENTATION_GUIDE.md 详细说明
• 占位符: src/adapters/accessibility/linux.js

开发/测试✅

• 适配器: MockAccessibilityAdapter
• 目的：跨平台开发和测试
• 自动回退：当平台适配器不可用时使用

绩效目标

视觉反馈

配色方案

• 🟢 绿色 （≥0.9）：高置信度
• 🔵 蓝色 （0.8-0.9）：信心良好
• 🟡 黄色 （0.6-0.8）：不确定
• 🔴 红 （\<0.6）：信心低

覆盖类型

1. 发现模式：显示所有检测到的元素
2. 高亮：关注具体要素
3. 指南：分步工作流程说明
4. 面包：通知消息

发展

运行测试

npm test

棉绒

npm run lint

格式

npm run format

与ThinkDrop AI集成

该服务将在主应用程序的MCP注册表中注册：

// In main app
const screenIntelligence = {
  name: 'screen-intelligence',
  url: 'http://localhost:3008',
  apiKey: process.env.SCREEN_INTELLIGENCE_API_KEY,
  enabled: true
};

路线图

第一阶段：核心服务✅

• \[x\] MCP服务器设置
• \[x\] 基本路线
• \[x\] 健康检查
• \[x\] 模拟适配器

第二阶段：可访问性（进行中）

• \[x\] macOS AX适配器（基本）
• \[\]Windows UIA适配器
• \[\]增强的元素查询
• \[\]坐标转换

第三阶段：叠加系统

• \[\]电子叠加窗口
• \[\]突出显示渲染
• \[\]发现模式UI
• \[\]祝酒通知

第四阶段：OpenCV回退

• \[\]Python sidecar
• \[\]模板匹配
• \[\]变更检测
• \[\]JSON桥

第五阶段：行动

• \[x\] nut.js集成（基本）
• \[\]验证
• \[\]引导模式
• \[\]多步骤工作流

第六阶段：整合

• \[\]更新parseIntent.cjs
• \[\]新建屏幕查询节点
• \[\]退回视觉服务
• \[\]端到端测试

许可证

麻省理工学院