MCP测试工具
100%人工智能代码·人工审核
用于自动化桌面UI测试的MCP服务器。一个二进制文件——没有运行时,没有依赖关系,没有安装。
仅限Windows x64。 计划支持macOS和Linux。
为AI代理提供眼睛和手:屏幕截图、窗口管理、鼠标、键盘、UI自动化、OCR、文件搜索。
为什么
AI代理可以在应用程序中触发操作,但看不到屏幕。此服务器弥合了这一差距:
Agent triggers action → takes screenshot → sees the result →
switches window → clicks a button → verifies → writes report完全自主,无需用户参与。
演示
10个任务。一次。 YouTube上观看→

MCP测试工具与人工计算机使用
Claude Cowork现在包括内置 计算机使用 --Claude截取屏幕截图,直观地点击界面。它在零设置下工作。MCP Test Utils采用了一种不同的方法:它不是猜测从屏幕截图中单击的位置,而是通过Windows API读取实际的UI结构。
| MCP测试工具 | 计算机使用 | |
|---|---|---|
| 点击精度 | Exact-UI自动化API | 屏幕截图中的可视化估计 |
| 速度和代币成本 | 快速、低成本——文本响应 | 较慢、高成本——每一步都有图像 |
| UI结构 | 完整树:角色、状态、坐标 | 不可用 |
| 光学字符识别 | 单词级坐标,多语言 | 不可用(仅适用于模型视觉) |
| 窗口管理 | 基于API、与窗口相关的坐标 | 视觉导航 |
| 文件搜索 | 内置Ripgrep引擎 | 不可用 |
| 会话记录 | JSONL+屏幕截图 | 不可用 |
| 可视化分析 | ✅ 相同的克劳德模型,全分辨率1:1 | ✅ 相同的克劳德模型 |
| 设置 | 下载二进制文件,添加到配置中 | 内置,一个切换 |
| 移动/调度 | — | ✅ 来自电话的任务 |
| 跨平台 | Windows(计划使用macOS/Linux) | macOS+Windows |
MCP测试工具更快、更精确、每次操作更便宜。计算机使用更容易启动,跨平台工作。它们相辅相成。
平台
| 平台 | 状态 |
|---|---|
| Windows x64 | ✅ 全力支持 |
| macOS arm64⏳ 计划中 | |
| Linux x64 | ⏳ 计划中 |
工具(19)
视觉
| 工具 | 说明 |
|---|---|
take_screenshot | 具有可配置质量的整个桌面截图 |
take_window_screenshot | 特定窗口的屏幕截图(屏幕或窗口捕获模式) |
read_screen_text | OCR整个屏幕(Windows.Media.OCR) |
read_region_text | OCR一个具有精确单词坐标的屏幕区域 |
窗口管理
| 工具 | 说明 |
|---|---|
list_windows | 列出带有id、标题、应用程序、位置、大小、最小化、聚焦的窗口 |
focus_window | 将窗户放在前面,如果最小化则恢复 |
输入
| 工具 | 说明 |
|---|---|
mouse_click | 在屏幕或窗口相对坐标处单击(左/右/中) |
mouse_move | 将光标移动到点 |
mouse_drag | 从点A拖动到点B |
mouse_scroll | 滚动鼠标滚轮 |
keyboard_type | 键入文本(完整的Unicode-拉丁文、西里尔文、CJK、表情符号) |
keyboard_press | 按一个键(Enter、Tab、F1-F12、箭头等) |
keyboard_shortcut | 组合键(Ctrl+S、Alt+F4、Ctrl+Shift+P等) |
结构化UI访问
| 工具 | 说明 |
|---|---|
list_ui_elements | UI自动化树——具有精确坐标的按钮、字段、菜单 |
文件搜索
| 工具 | 说明 |
|---|---|
search_in_files | 在允许的目录内的文件中搜索文本或正则表达式(如VS Code Find in files) |
find_files | 按名称模式(glob)查找文件和目录,如“转到文件” |
代理商指南
| 工具 | 说明 |
|---|---|
get_usage_guide | LLM代理的精简工作流程指南——精确点击、坐标元数据、质量提示 |
会话日志记录
| 工具 | 说明 |
|---|---|
enable_logging | 开始录制JSONL+屏幕截图的工具调用(选择加入) |
disable_logging | 停止录制,获取会话统计信息 |
安装
- 从下载二进制文件 发布.
- 将其添加到MCP客户端配置中。以下示例适用于Claude Desktop,其他客户端请参阅其文档。
克劳德桌面: %APPDATA%\Claude\claude_desktop_config.json
{
"mcpServers": {
"test-utils": {
"command": "D:\\path\\to\\mcp-test-utils.exe"
}
}
}- 重新启动克劳德桌面。
- 在聊天中,尝试: _“截图”_ --代理将返回您的桌面图像。
带日志记录和文件搜索(可选)
{
"mcpServers": {
"test-utils": {
"command": "D:\\path\\to\\mcp-test-utils.exe",
"env": {
"MCP_LOG_DIR": "D:\\path\\to\\logs",
"MCP_LOG_MAX_MB": "500",
"MCP_LOG_RETAIN_DAYS": "30",
"MCP_SEARCH_DIRS": "D:\\Projects\\app1;D:\\Projects\\app2"
}
}
}
}质量预设
截图支持可配置的质量,以平衡细节和代币成本:
| 预设 | 比例 | 格式 | 用例 |
|---|---|---|---|
full | 100% | JPEG q90 | 最大细节 |
standard | 50% | JPEG q70 | 平衡(默认) |
compact | 50% | PNG | 需要PNG时 |
minimal | 25% | 灰度 | 最低代币成本 |
custom | 10–100% | JPEG/PNG/灰度 | 完全控制 |
环境变量
| 变量 | 描述 | 默认值 |
|---|---|---|
MCP_LOG_DIR | 日志会话的路径。没有它,日志工具就隐藏起来了 | -- |
MCP_LOG_MAX_MB | 会话大小限制(超过警告) | 500 |
MCP_LOG_RETAIN_DAYS | 自动删除超过N天的会话。 0 禁用 | 30 |
MCP_SEARCH_DIRS | 允许的目录 search_in_files (; 在Windows上, : 在macOS/Linux上)。没有它,工具就隐藏了 | -- |
运作原理
MCP Test Utils是一个通过stdin/stdout进行通信的JSON-RPC 2.0服务器。任何兼容MCP的客户端都会启动二进制文件,发送工具调用,并接收结构化响应(文本、base64图像)。使用Claude Desktop进行测试。
服务器直接使用本地Windows API——Win32 GDI用于截图, SendInput 用于鼠标和键盘,用于元件检查的UI Automation COM API,WinRT Windows.Media.Ocr 用于文本识别。文件搜索使用ripgrep引擎(grep-regex, grep-searcher, ignore)--跨平台,无外部依赖。没有PowerShell,没有外部工具,没有网络访问权限。
用例
- 自动化QA --代理浏览应用程序,点击流程,在每个步骤中截取屏幕截图,编写测试报告
- 桌面自动化 --填写表单、在窗口之间复制数据、运行工作流
- 可访问性审计 --扫描UI自动化树以查找缺少的标签或角色
- 视觉回归 --不同版本的屏幕截图比较
- 数据提取 --来自不公开API的应用程序的OCR文本
- 代码搜索 --在不离开代理会话的情况下跨多个项目查找模式
安全
- 仅响应MCP客户端的请求
- 不打开网络端口
- 不向磁盘写入任何内容(选择加入日志除外)
- 不向外部发送数据
- 截图捕捉整个屏幕 --确保没有可见的敏感信息
- 文件搜索已沙盒化 --仅目录在
MCP_SEARCH_DIRS可访问
支持我们
自由和不受限制。如果你觉得它有用--
许可证
版权所有2026 JeenyJAI。保留所有权利。
______________________________________________________________________
🚀 创建于 克劳德
