移动像素MCP
一种用于移动设备自动化的轻量级、视觉优先的模型上下文协议(MCP)服务器。使AI模型能够通过屏幕截图和基于坐标的交互来控制移动设备并与之交互。
快速开始
将此添加到您的MCP客户端配置中(例如,Claude Desktop、Cursor):
{
"mcpServers": {
"mobile-pixel": {
"command": "npx",
"args": [
"-y",
"mobile-pixel-mcp@latest"
]
}
}
}您可以选择传递参数来指定平台或设备:
"args": ["-y", "mobile-pixel-mcp@latest", "--platform", "ios"]先决条件
启动服务器 *之后* 确保您的环境准备就绪:
安卓
- 安卓调试桥(ADB) 已安装并位于PATH中
- 设备上启用了USB调试,或模拟器正在运行
- 设备已连接并授权(
adb devices显示您的设备)
iOS
- IDB(iOS开发桥) 已安装并位于PATH中
- Xcode和Xcode命令行工具(
xcrun simctl支持) - 模拟器正在运行或物理设备已连接
特性
- 视觉优先: 使用屏幕截图+坐标(OCR/计算机视觉就绪)
- 自动OCR:
find_text和tap_text工具包括 - 遥测桥: 通过MCP读取应用程序日志
- 智能启动: 上下文感知应用程序启动(如果运行则恢复,如果不运行则冷启动)
- 跨平台支持(安卓和iOS)
可用工具
| 工具 | 说明 | 参数 |
|---|---|---|
get_screen | 捕获当前设备屏幕 | 无 |
tap | 点击坐标 | x, y |
swipe | 滑动手势 | x1, y1, x2, y2, duration_ms |
type_text | 在焦点元素中输入文本 | text |
home | 按下主页按钮 | 无 |
launch_app | 启动/恢复应用程序 | app_id |
check_app_status | 检查应用程序是否正在运行 | app_id |
find_text | 查找文本坐标(OCR) | text |
tap_text | 查找文本并点击中心(OCR) | text |
check_app_log | 跟踪最近的应用程序日志 | tag, filter_text |
configure_device | 动态切换设备/平台 | platform, device_id, app_id |
install_app | 从本地路径安装应用程序 | path |
uninstall_app | 卸载应用程序 | app_id |
reset_app | 重置应用程序数据/状态 | app_id |
配置
服务器支持持久配置,以避免在每次重新启动时指定参数。它寻找 mobile-pixel.config.json 在当前工作目录中。服务器将 自动创建此文件 如果不存在,则使用默认设置。
动态切换
您可以使用 configure_device 该工具用于在不重新启动MCP服务器的情况下切换平台(例如从Android到iOS)或目标设备。这将更新 mobile-pixel.config.json 文件自动。
手动配置(mobile pixel.config.json)
{
"platform": "android",
"deviceId": "emulator-5554",
"appId": "com.example.app",
"mainActivity": ".MainActivity"
}本地开发与安装
如果你想从源代码运行或贡献:
- 克隆:
git clone - 安装:
npm install - 构建:
npm run build - 跑:
# Android
npm start
# iOS
npm start -- --platform=ios- 测试:
npm test
故障排除
“ADB/IDB不可用”
确保各自的工具(adb 对于Android, idb/xcrun 适用于iOS)已安装并位于您的系统PATH中。
许可证
阿帕奇-2.0
