人工智能操作系统mcp
一个原生的macOS MCP服务器，为Claude Code提供完整的桌面控制——22个用于应用程序自动化的工具，以及通过Vision OCR的零图像屏幕理解。
没有截图。没有视觉模型。纯结构化数据。
Old way: Screenshot → Vision Model → Process pixels → Guess coordinates → Click → Miss → Repeat
ai-os-mcp: OCR text+coords (250ms) → Claude reads JSON → click_at(x, y) → Done它的作用
ai os mcp使Claude Code能够通过以下方式查看和控制任何macOS应用程序：
- 视觉OCR --使用macOS Vision框架提取所有具有像素坐标的屏幕文本。适用于每个应用程序（原生、Chromium、Electron）。零图像——Claude处理JSON，而不是像素。
- 无障碍树 --原生应用程序的语义UI结构（按钮、菜单、带操作的文本字段）。
- 直接控制 --鼠标点击、键盘输入、应用程序启动、窗口管理、AppleScript执行。
- 浏览器伴侣 --通过CDP为基于Playwright的浏览器控制提供单独的Node.js MCP服务器。
工具（22本机+11浏览器）
屏幕理解（零图像）
| 工具 | 说明 |
|---|---|
get_screen | OCR屏幕——以JSON格式返回所有像素坐标的文本。约250毫秒。 |
act_and_see | 执行操作并在一次调用中返回OCR结果。 |
run_macro | 在一次调用中执行多个操作，最后进行一次OCR。消除了往返。 |
核心互动
| 工具 | 说明 |
|---|---|
get_running_apps | 列出所有带有名称、PID、捆绑包ID的GUI应用程序 |
get_frontmost_app | 获得专注的应用程序 |
get_ax_tree | 读取任何应用程序的可访问性树 |
click_element | 按语义搜索（标题/ID/描述）点击元素 |
type_text | 在已聚焦或已找到的元素中键入文本 |
press_key | 键盘快捷键（Cmd+C、Return等） |
鼠标和滚动
| 工具 | 说明 |
|---|---|
mouse_click_at | 点击屏幕坐标（从OCR或AX位置） |
mouse_drag | 使用平滑插值在两点之间拖动 |
scroll | 在应用程序或元素内滚动 |
应用程序和窗口管理
| 工具 | 说明 |
|---|---|
open_application | 按名称或捆绑包ID启动应用程序 |
open_url | 在默认浏览器中打开URL |
navigate_url | 在特定浏览器中打开URL（一次调用激活+导航） |
manage_window | 调整大小、移动、最小化、最大化、全屏、恢复 |
自动化
| 工具 | 说明 |
|---|---|
run_applescript | 执行AppleScript或JXA（带安全检查） |
get_menu_bar | 读取应用程序的所有菜单项 |
click_menu_item | 按路径单击菜单项（例如“文件>导出>PDF”） |
read_pasteboard | 读取剪贴板（文本、HTML、RTF、文件URL） |
write_pasteboard | 写入剪贴板 |
take_screenshot | 将屏幕捕获到文件（OCR不够时回退） |
浏览器伴侣（ai-os浏览器，node.JS）
Playwright CDP提供的11个工具： browser_connect, browser_navigate, browser_get_dom, browser_get_text, browser_click, browser_type, browser_select, browser_fill_form, browser_execute_js, browser_get_tabs, browser_switch_tab.
快速开始
先决条件
- macOS 13.0+（文图拉）
- Xcode 16.0+（swift 6.0）
- Node.js 20+（用于浏览器伴侣，可选）
安装
git clone https://github.com/charantejmandali18/ai-os-mcp.git
cd ai-os-mcp
./scripts/install.sh这将构建两个服务器，安装它们并配置Claude Desktop。
需要权限
- 无障碍 --系统设置>隐私和安全>辅助功能>添加
~/.local/bin/ai-os-mcp - 屏幕录制 --系统设置>隐私和安全>屏幕录制>添加
ai-os-mcp（需要get_screen/视觉OCR）
添加到克劳德代码
claude mcp add ai-os-mcp -- ~/.local/bin/ai-os-mcp或添加到 .mcp.json 在您的项目中：
{
"mcpServers": {
"ai-os-mcp": {
"type": "stdio",
"command": "/Users/YOUR_USERNAME/.local/bin/ai-os-mcp"
}
}
}使用示例
打开一个网站并单击链接：
get_screen → see all text + coordinates
act_and_see(app="Dia", → navigate + return OCR
action="navigate", url="example.com")
act_and_see(app="Dia", → click at coords from OCR
action="click_at", x=1091, y=118)在Spotify上播放音乐：
open_application(app_name="Spotify")
press_key(key="k", modifiers=["command"], app_name="Spotify")
type_text(text="gym rush", app_name="Spotify")
press_key(key="return", app_name="Spotify")
run_applescript(script='tell application "Spotify" to play')创建Google文档：
navigate_url(app_name="Dia", url="docs.new")
type_text(text="My Document Title\n\nBody content here...", app_name="Dia")运作原理
零图像视觉
ai os mcp使用持久的ScreenCaptureKit流（2 FPS）和macOS Vision框架来OCR屏幕，而不是屏幕截图：
WindowServer → SCStream (2 FPS, in memory) → VNRecognizeTextRequest (~250ms)
↓
JSON: [{text: "CONTACT", x: 1056, y: 109, w: 65, h: 14}, ...]
↓
Claude reads text, calls click_at(1089, 116)- 帧始终在内存中——零捕获延迟
- FNV-1a哈希检测到变化——如果屏幕不变，跳过OCR
- 按实际屏幕像素缩放的坐标——直接传递给
click_at - Claude处理JSON文本，而不是像素——比视觉快几个数量级
后备链
- 视觉OCR (
get_screen)--适用于所有应用程序 - AppleScript/JXA --可编写脚本的应用程序（浏览器、Finder、Mail）
- 菜单栏 --即使内容不可用，也始终可以访问
- 键盘 --选项卡、箭头、快捷方式
- 硬纸板 --Cmd+A，Cmd+C，读取剪贴板
- 坐标点击 —
click_at带有OCR坐标
建筑
Claude Code (AI Brain)
├── ai-os-mcp (Swift, stdio MCP) ── 22 native macOS tools
│ ├── ScreenCaptureKit + Vision OCR (zero-image screen reading)
│ ├── Accessibility APIs (semantic element interaction)
│ ├── CGEvent (mouse, keyboard, scroll)
│ ├── NSWorkspace (app launch, URL open)
│ └── AppleScript/JXA (scriptable app automation)
│
└── ai-os-browser (Node.js, stdio MCP) ── 11 browser tools
└── Playwright CDP (DOM access, clicks, typing, JS execution)发展
swift build # Debug build
swift build -c release # Release build
swift test # Run tests (caution: CGEvent tests send real input)建造完成后，签字并安装：
codesign --force --sign - .build/release/ai-os-mcp
cp .build/release/ai-os-mcp ~/.local/bin/ai-os-mcp
codesign --force --sign - ~/.local/bin/ai-os-mcp路线图
- \[x\] 可访问性树工具（v0.1.0）
- \[x\] 鼠标、滚动、截图、窗口管理（v0.2.0）
- \[x\] AppleScript、菜单栏、粘贴板（v0.2.0）
- \[x\] Playwright浏览器伴侣（v0.2.0）
- \[x\] 零图像视觉OCR（v0.3.0）
- \[x\] act_and_see复合工具（v0.3.0）
- \[x\] run_macro批处理执行（v0.3.0）
- \[x\] 持久屏幕捕获工具包流（v0.3.0）
- \[\]修复run_macro JSON数组解析
- \[\]AX树缓存（30秒TTL）
- \[\]用于远程访问的WebSocket传输
许可证
麻省理工学院——见 许可证