Ghost OS
Full computer-use for AI agents.
______________________________________________________________________
你的AI代理可以编写代码、运行测试、搜索文件。但它不能点击按钮、发送电子邮件或填写表格。它位于聊天框内。
Ghost OS改变了这一点。只需安装一次，任何AI代理都可以查看和操作Mac上的每个应用程序。
遇见 幽灵
Ghost OS为AI代理提供了眼睛和手。阴影给了他们记忆。斯佩克特给了他们一个家。
在90秒内将持久AI代理部署到专用VM。自动DNS、TLS、系统强化。交互式TUI仪表板。你拥有基础设施。
*赢得您信任的AI代理。*
遇见 影子
影子是故事的另一半。Ghost OS为AI代理提供了在Mac上的眼睛和手。阴影赋予他们记忆和智慧。
14模态捕捉。积极的建议。剧集生成。设备上LLM推理。计算机使用训练数据。都是本地的，都是开源的。
*你的电脑一直在专心。*
______________________________________________________________________
最新动态
自学食谱。 向Ghost OS展示如何做一次，它就会永远记住。
ghost_learn_start--开始观察用户执行任务ghost_learn_stop--停止并返回丰富的动作序列ghost_learn_status--检查录制进度
用户手动执行任务（单击、键入、切换应用程序）。Ghost OS通过一个富含可访问性树上下文的CGEvent点击来观察每一个操作。克劳德将原始观察结果综合成一个参数化的、可回放的配方。
无需截图。没有视觉模型。只有辅助功能树和键盘/鼠标。
User: "Watch me send an email."
Agent: ghost_learn_start task_description:"send email in Gmail"
...user performs the task...
Agent: ghost_learn_stop
-> 8 actions with full AX context
-> Synthesizes recipe with 3 parameters: recipient, subject, body
-> ghost_recipe_save
User: "Send an email to bob about the Q4 report"
Agent: ghost_run recipe:"gmail-send-learned" params:{...}需要输入监控权限（系统设置>隐私和安全>输入监控）。跑 ghost setup 配置。
Previous: v2.1.2
4个新工具。ghost_annotate、ghost_hover、ghost_long_press、ghost_drag。固定视觉sidecar依赖关系，固定视觉模型下载，中文/CJK输入支持（谢谢 @俊世5218).
感谢500多名主演这个项目的人。你是我们继续建设的原因。如果你想直接捐款，我们很乐意。看 贡献.md.
You: "Send an email to sarah@company.com about the Q4 report"
Agent: ghost_run recipe:"gmail-send" params:{recipient, subject, body}
→ Compose opens, fields fill, email sends. Done.设置
食谱在行动
发送电子邮件和下载论文。任何应用程序。任何工作流。
浏览器之外
Slack消息、Finder文件夹——Ghost OS操作本机macOS应用程序，而不仅仅是浏览器。
为什么选择Ghost OS？
其他电脑使用工具会截图并猜测屏幕上的内容。Ghost OS读取macOS可访问性树——每个应用程序中每个元素的结构化、标记数据。当AX树不够时（web应用程序、动态内容），它会回退到本地视觉模型（ShowUI-2B）进行视觉基础。
当它计算出一个工作流程时，它会保存它。其他工具每次都会重复同样昂贵的推理。
- 自我学习 --前沿模型一次性计算出工作流。一个小模型永远运行它。
- 透明 --食谱是JSON。跑步前仔细阅读每一步。没有黑盒子。
- 本土的 --可访问性树优先。必要时进行视觉回退。基于像素猜测的结构化数据。
- 任何应用程序 --不仅仅是浏览器。Slack、Finder、Messages——Mac上的任何东西。
- 本地 --你的数据永远不会离开你的机器。
- 打开 --MCP协议。适用于Claude Code、Cursor、VS Code或任何MCP客户端。
||Ghost OS|人类计算机使用|OpenAI运算符|OpenClaw| |:---:|------|:--:|:--:|:--:|:--:| | 👀 | 它怎么看 |可访问性树+本地VLM |仅截图|仅截图|Browser DOM| | 🖥️ | 原生应用 |任何macOS应用程序|任何（通过像素）|仅浏览器|仅浏览器| | 🧠 | 学习工作流程 |JSON食谱|否|否| | 🔒 | 数据保持本地 |是|取决于设置|否（云）|是| | 📖 | 开源 |麻省理工学院|否|否|麻省理工|
安装
brew install ghostwright/ghost-os/ghost-os
ghost setup就这样 ghost setup 处理权限、MCP配置、配方安装和视觉模型设置。
macOS beta? Use the manual install instead.
Homebrew在macOS开发者测试版上有一个已知的问题，它需要一个尚不存在的Xcode版本。如果 brew install 失败，直接安装：
curl -sL https://github.com/ghostwright/ghost-os/releases/latest/download/ghost-os-2.2.1-macos-arm64.tar.gz | tar xz
sudo cp ghost /opt/homebrew/bin/
sudo cp ghost-vision /opt/homebrew/bin/
sudo mkdir -p /opt/homebrew/share/ghost-os
sudo cp GHOST-MCP.md /opt/homebrew/share/ghost-os/
sudo cp -r recipes /opt/homebrew/share/ghost-os/
sudo cp -r vision-sidecar /opt/homebrew/share/ghost-os/
ghost setup运作原理
Ghost OS通过以下方式连接到您的AI代理 主控程序 并为它提供了29个工具来查看和操作你的Mac。它读取macOS可访问性树，以获取有关每个应用程序的结构化数据。对于AX树不足的web应用程序（Gmail、Slack），本地视觉模型（ShowUI-2B）可以直观地找到元素。单击、键入、悬停、拖动、滚动、按键、管理窗口。任何应用程序，而不仅仅是浏览器。
You: "Download the latest paper on chain-of-thought prompting from arXiv"
Agent: ghost_run recipe:"arxiv-download" params:{query:"chain of thought prompting"}
→ Navigates to arXiv, searches, opens PDF, downloads to Desktop. Done.适用于Claude Code、Cursor、VS Code或任何讲MCP的东西。
菜谱
当你的代理想出一个工作流时，它会将其保存为食谱。配方是一个包含步骤、参数和等待条件的JSON文件。透明且可审计。
前沿模型一次性计算出工作流。一个小模型永远运行它。
# One command sends an email
ghost_run recipe:"gmail-send" params:{"recipient":"hello@example.com","subject":"Hello","body":"World"}
# 7 steps, 30 seconds, 100% reliable- 食谱只是JSON。跑步前仔细阅读每一步。
- 与您的团队分享。一个人学习工作流程，每个人都会受益。
- 把食谱连在一起。代理人知道什么时候打电话。
- 用克劳德或GPT-4写一次。和俳句一起永远奔跑。
29工具
| 工具 | 它的作用 | |
|---|---|---|
| 🔍 | ghost_context | 获取当前应用程序、窗口标题、URL、焦点元素和屏幕上的所有交互元素 |
| 🔍 | ghost_state | 列出每个正在运行的应用程序及其窗口、位置和大小 |
| 🔍 | ghost_find | 在整个UI中按名称、角色、DOM id或CSS类搜索元素 |
| 🔍 | ghost_read | 从任何应用程序中提取文本内容，并对嵌套内容进行深度控制 |
| 🔍 | ghost_inspect | 获取一个元素的完整元数据：角色、位置、动作、DOM id、可编辑状态 |
| 🔍 | ghost_element_at | 识别特定屏幕坐标处的元素 |
| 📸 | ghost_screenshot | 捕获窗口截图以进行可视化调试 |
| 📸 | ghost_annotate | 交互式元素上带有编号标签和点击坐标的屏幕截图 |
| 👁️ | ghost_ground | 使用视觉（ShowUI-2B）查找元素坐标。当AX树找不到web元素时有效 |
| 👁️ | ghost_parse_screen | 通过视觉检测所有交互元素 |
| 🎯 | ghost_click | 按名称、DOM id或屏幕坐标单击元素 |
| 🎯 | ghost_hover | 将光标移动到元素或位置以触发工具提示和悬停效果 |
| 🎯 | ghost_long_press | 按住可进入上下文菜单、强制触摸预览和拖动启动 |
| 🎯 | ghost_drag | 从一个点拖动到另一个点，用于文件移动、滑块、列表重新排序、文本选择 |
| ⌨️ | ghost_type | 按名称或当前光标在特定字段中键入文本 |
| ⌨️ | ghost_press | 按一个键，如回车键、Tab键、Esc键或箭头键 |
| ⌨️ | ghost_hotkey | 按组合键，如Cmd+L、Cmd+Return、Cmd+Shift+P |
| 🎯 | ghost_scroll | 在任何应用程序窗口中向上、向下、向左或向右滚动 |
| 🪟 | ghost_focus | 将任何应用程序或特定窗口带到前面 |
| 🪟 | ghost_window | 最小化、最大化、关闭、移动或调整任何窗口的大小 |
| ⏳ | ghost_wait | 等待URL更改、元素出现或消失或标题更改 |
| 📦 | ghost_recipes | 列出所有已安装的配方及其说明和参数 |
| ▶️ | ghost_run | 执行带有参数替换的配方 |
| 📦 | ghost_recipe_show | 查看配方的完整步骤和配置 |
| 📦 | ghost_recipe_save | 从JSON安装新配方 |
| 📦 | ghost_recipe_delete | 删除已安装的配方 |
| 🎓 | ghost_learn_start | 开始观察用户的操作以进行工作流学习 |
| 🎓 | ghost_learn_stop | 停止观察并返回丰富的动作序列 |
| 🎓 | ghost_learn_status | 检查学习模式是否处于活动状态并记录统计数据 |
诊断
$ ghost doctor
[ok] Accessibility: granted
[ok] Screen Recording: granted
[ok] Input Monitoring: granted (for learning mode)
[ok] Processes: 1 ghost MCP process
[ok] MCP Config: ghost-os configured
[ok] Recipes: 5 installed
[ok] AX Tree: 12/12 apps readable
[ok] ghost-vision: /opt/homebrew/bin/ghost-vision
[ok] ShowUI-2B model: ~/.ghost-os/models/ShowUI-2B (3.0 GB)
[ok] Vision Sidecar: not running (auto-starts when needed)
All checks passed. Ghost OS is healthy.从源代码构建
git clone https://github.com/ghostwright/ghost-os.git
cd ghost-os
swift build
.build/debug/ghost setup需要Swift 6.2+和macOS 14+。
建筑
AI Agent (Claude Code, Cursor, any MCP client)
│
│ MCP Protocol (stdio)
│
Ghost OS MCP Server (Swift)
│
├── Perception ──── see what's on screen (AX tree)
├── Vision ──────── visual grounding (ShowUI-2B, local)
├── Actions ─────── click, type, scroll, keys
├── Recipes ─────── self-learning workflows
└── AXorcist ────── macOS accessibility engine贡献
看 贡献.md。我们需要更多应用程序的配方、不同设置下的测试和错误报告。如果你正在构建可以做真实事情的人工智能代理，这就是这个项目。
贡献者
感谢所有为Ghost OS做出贡献的人。
许可证
麻省理工学院