Screen Hand

ScreenHand

让人工智能控制你的桌面——点击按钮、填写表格、在大约50毫秒内自动化工作流程，无需额外的人工智能调用。

开源 MCP服务器 适用于macOS和Windows。适用于Claude、Cursor、Codex CLI和任何兼容MCP的客户端。

 ](https://www.npmjs.com/package/screenhand)   

快速开始 | 它的作用 | 示例 | 全部111工具 | 建筑 | 网站

______________________________________________________________________

问题

人工智能助手可以编写代码，但不能使用你的电脑。每次点击都需要截图→ LLM口译→ 坐标猜测-- 3-5秒，每个操作一个API调用.

ScreenHand允许AI直接访问本地操作系统API。点击无需截图。没有人工智能需要按下按钮。

快速开始

1.添加到您的AI客户端（一步）

Claude Code (recommended)

claude mcp add screenhand -- npx -y screenhand

完成。就这样

Claude Desktop

添加 ~/Library/Application Support/Claude/claude_desktop_config.json:

{
  "mcpServers": {
    "screenhand": {
      "command": "npx",
      "args": ["-y", "screenhand"]
    }
  }
}

Cursor

添加 .cursor/mcp.json:

{
  "mcpServers": {
    "screenhand": {
      "command": "npx",
      "args": ["-y", "screenhand"]
    }
  }
}

OpenAI Codex CLI

添加 ~/.codex/config.toml:

[mcp.screenhand]
command = "npx"
args = ["-y", "screenhand"]
transport = "stdio"

Any MCP Client

ScreenHand是stdio上的标准MCP服务器。与一起跑步 npx -y screenhand.

2.授予权限

macOS：系统设置>隐私和安全>辅助功能>启用您的终端应用程序。

视窗：不需要特殊权限。

3.浏览器控件（可选）

通过远程调试启动Chrome以启用浏览器工具：

open -a "Google Chrome" --args --remote-debugging-port=9222

就是这样。你的人工智能客户端现在有111个桌面自动化工具，并附带了36个应用程序的预构建知识，所以你不会从零开始。

Building from source (contributors only)

git clone https://github.com/manushi4/screenhand.git
cd screenhand && npm install && npm run build:native

在Windows上，使用 npm run build:native:windows 相反。

______________________________________________________________________

预构建平台知识

每个安装都有经过实战检验的知识，因此AI从第一天开始就从专家级别开始——不需要重新探索：

当检测到匹配的应用程序或网站时，这些会自动加载。无需设置。

安装后验证：

npx screenhand --info

______________________________________________________________________

它的作用

ScreenHand为AI代理提供了八种功能：

桌面控制——19个工具

点击按钮、键入文本、阅读UI树、导航菜单、拖动、滚动——所有这些都可以在大约50毫秒内通过本地辅助功能API完成。适用于任何应用程序：Finder、Notes、VS Code、Xcode、系统设置等。

浏览器自动化——15个工具

通过DevTools协议完全控制Chrome。导航、单击、键入、运行JavaScript、填写表单——所有这些都在后台进行，大约10毫秒。内置防检测功能(browser_stealth, browser_human_click)对于具有bot保护的网站。

智能回退——8个工具

click_with_fallback, type_with_fallback等自动尝试辅助功能→ CDP → OCR → 协调。你不必选择正确的方法——ScreenHand会想出办法。

记忆与学习——14个工具

每次会话都变得更聪明。记录工具调用，保存获胜策略，跟踪错误模式并修复。零配置，零延迟开销（内存缓存，异步磁盘写入）。为常见的macOS工作流提供12种种子策略。6种学习策略：定位器稳定性、传感器有效性、恢复排名、模式识别、自适应定时和拓扑（导航边缘可靠性）。

App Mastery Map——自动理解每个应用的空间

从正常的工具使用中构建每个应用程序的持久逆向工程蓝图。8个功能自动记录：页面区域、导航图（BFS寻路）、层次结构、I/O契约、状态机、元素可见性、时序配置文件和就绪信号。掌握水平（初学者→ pro → 专家→ 大师）诚实地反映了ScreenHand对每个应用程序的了解程度。地图存储在 ~/.screenhand/app-maps/.

网站功能发现——真正的功能，而不是通用的阶梯

discover_features 获取应用程序的官方网站并提取真实的产品功能（标题、功能卡、定义列表）。自动分配难度级别并生成只有ScreenHand才能提供的增值功能：批量操作、跨应用导出、内容摘要、自动组织和更改监控。不需要LLM调用——纯粹基于规则的提取。特征合并到参考文件中，丰富了掌握阶梯。

工作与编排——34个工具

排队多步作业，通过后台工作进程运行它们，用会话租约协调多个AI代理，检测停滞，自动恢复。在客户端重新启动后幸存。

感知与规划——17种工具

连续屏幕感知（100ms/300ms/1000ms的3速率感知循环），具有实体跟踪功能的实时世界模型，具有自动分解功能的目标导向规划，具有自愈功能的恢复引擎。该系统始终知道屏幕上的内容，并将观察结果输入应用程序精通地图。

完整参考：查看全部 111个工具及其说明.

______________________________________________________________________

示例

浏览器 --Claude在您工作时在后台控制Chrome：

You: Search for "screenhand" on Instagram

→ browser_tabs()                                        # ~10ms
  [34DF5DE1] Instagram — https://www.instagram.com/

→ browser_js({ code: "/* click Search icon */" })       # ~10ms
→ browser_fill_form({ selector: "input", text: "screenhand" })  # ~50ms (human-like)
→ browser_js({ code: "/* extract results */" })         # ~10ms

Found @screenhand_ as the top result.

桌面 --无屏幕截图的原生应用控制：

→ apps()                     # List running apps           ~10ms
→ focus("com.apple.Notes")   # Bring Notes to front        ~10ms
→ ui_tree()                  # Read full UI element tree    ~50ms
→ ui_press("New Note")       # Click "New Note" button     ~50ms
→ type_text("Hello world")   # Type text                   ~30ms

跨应用 --在整个桌面上链接操作：

→ browser_js(...)            # Extract data from Chrome
→ focus("com.apple.Notes")   # Switch to Notes
→ type_text(extractedData)   # Paste it in
→ key("cmd+s")               # Save

______________________________________________________________________

Claude代码插件

如果你使用Claude Code，ScreenHand包含一个插件 13种技能和5种代理 将所有111个工具整合到面向意图的工作流中。

./install-plugin.sh   # after npm install && npm run build:native

5名专业代理： 营销, 设计, 问答, 爬虫, 编排器.

______________________________________________________________________

运作原理

AI Client (Claude, Cursor, Codex CLI)
    ↓ MCP protocol (stdio)
ScreenHand MCP Server (TypeScript)
    ↓ JSON-RPC (stdio)
Native Bridge (Swift on macOS / C# on Windows)
    ↓ OS APIs
Accessibility, CoreGraphics, Vision, UI Automation, SendInput

ScreenHand直接读取UI树和DOM——大多数操作都不需要截图。当需要截图（画布应用程序、视觉验证）时，OCR通过原生Vision框架在约600ms内运行。

______________________________________________________________________

需求

文档

常见问题解答

How is this different from Anthropic's Computer Use?

计算机使用是基于云和屏幕截图驱动的。ScreenHand是local-first，使用本地操作系统API（每次操作50ms和3-5s），点击/打字的API调用成本为零，并且完全在您的机器上运行。

What apps can it control?

任何支持辅助功能的应用程序（大多数macOS/Windows应用程序）。Chrome和Electron应用程序通过CDP获得完整的DOM访问权限。画布繁重的应用程序（游戏、Photoshop视口）使用OCR作为后备。

附带专家级预构建知识，适用于：终端、邮件、查找器、日历、提醒、主题演讲、页面、笔记、照片、Apple Music、WhatsApp、Figma、Discord、DaVinci Resolve、Canva、Instagram、X/Twitter、LinkedIn、YouTube、Reddit、Notion、n8n等。任何其他应用程序在首次使用时都会自动探索和学习。

Is it safe?

在本地运行，从不向外部发送屏幕数据。PII是从所有持久数据（内存、剧本、策略）中编辑出来的。危险协议(javascript:, data:)被封锁。AppleScript和浏览器JS执行会被审计记录。

Does it work with multiple AI agents at once?

对。带有心跳的会话租约可防止冲突。监控器守护进程检测到暂停并恢复。每个代理都有自己的应用程序窗口。

How fast is it?

可达性：~50ms。Chrome CDP:~10ms（背景，无需聚焦）。OCR：~600ms。内存查找：约0ms（内存缓存中）。所有磁盘写入都是异步和非阻塞的。

贡献

git clone https://github.com/manushi4/screenhand.git
cd screenhand && npm install && npm run build:native
npm test   # 1331 tests, 54 files

联系

• 电子邮件: khushi@clazro.com
• 问题:
• 网站: screenhand.com

许可证

AGPL-3.0-only--版权所有（C）2025-2026克拉兹罗科技私人有限公司

______________________________________________________________________

screenhand.com | khushi@clazro.com |一种产品 Clazro科技私人有限公司