windows-rpa（视窗 RPA）

Windows RPA 自动化

这个 skill 让 OpenClaw 能够直接操作 Windows 桌面，包括鼠标、键盘、窗口和应用程序。

核心能力

1. 鼠标操作

# 移动鼠标到坐标 (x, y)
desktop_mouse_move(x=500, y=300)

# 鼠标点击
desktop_mouse_click(x=500, y=300, button="left", clicks=1)

# 鼠标拖拽
desktop_mouse_drag(start_x=100, start_y=100, end_x=500, end_y=500)

# 鼠标滚轮
desktop_mouse_scroll(clicks=3)  # 正数向上，负数向下

# 获取鼠标位置
desktop_mouse_position()

2. 键盘操作

# 输入文本
desktop_keyboard_type(text="Hello World")

# 按键
desktop_keyboard_press(key="enter")
desktop_keyboard_press(key="tab")
desktop_keyboard_press(key="escape")

# 组合键
desktop_keyboard_hotkey(keys=["ctrl", "c"])  # 复制
desktop_keyboard_hotkey(keys=["ctrl", "v"])  # 粘贴
desktop_keyboard_hotkey(keys=["ctrl", "a"])  # 全选
desktop_keyboard_hotkey(keys=["alt", "f4"])  # 关闭窗口

3. 屏幕操作

# 截取全屏
desktop_screenshot()

# 截取指定区域
desktop_screenshot(region={"x": 0, "y": 0, "width": 800, "height": 600})

# 获取屏幕尺寸
desktop_screen_size()

# 图像定位（在屏幕上找图）
desktop_locate_on_screen(image_path="button.png", confidence=0.9)

4. 窗口管理

# 列出所有窗口
desktop_window_list()

# 激活窗口
desktop_window_activate(title_pattern="记事本")

# 查找窗口
desktop_find_window(title_contains="Chrome")

# 点击窗口控件
desktop_click_window(
    title_contains="记事本",
    control_type="Edit",
    action="set_text",
    control_name="Hello"
)

5. 应用程序启动

# 启动常用应用（支持别名）
desktop_launch_app(app_name="notepad")
desktop_launch_app(app_name="chrome")
desktop_launch_app(app_name="excel")
desktop_launch_app(app_name="word")

# 启动自定义程序
desktop_launch_app(app_name="C:\\Program Files\\MyApp\\app.exe")

# 带参数启动
desktop_launch_app(app_name="chrome", args="--incognito")

6. Shell 命令

# PowerShell 命令
desktop_shell(command="Get-Process | Select-Object -First 5")

# CMD 命令
desktop_shell(command="dir C:\\", shell_type="cmd")

7. 剪贴板

# 获取剪贴板内容
desktop_clipboard_get()

# 设置剪贴板内容
desktop_clipboard_set(text="要复制的内容")

8. 桌面状态

# 获取完整桌面状态（鼠标位置、活动窗口、截图等）
desktop_get_state(capture_screenshot=True)

# 检查环境
desktop_check()

使用示例

示例 1: 自动填写表单

# 1. 启动应用程序
desktop_launch_app(app_name="notepad")

# 2. 等待窗口出现
time.sleep(1)

# 3. 输入内容
desktop_keyboard_type(text="这是一段自动输入的文字")

# 4. 保存文件
desktop_keyboard_hotkey(keys=["ctrl", "s"])
desktop_keyboard_type(text="auto_saved.txt")
desktop_keyboard_press(key="enter")

示例 2: 图像识别点击

# 1. 先截图保存按钮图像
desktop_screenshot(save_path="screen.png")

# 2. 用户手动截取按钮区域保存为 button.png

# 3. 在屏幕上定位并点击
result = desktop_locate_on_screen(image_path="button.png", confidence=0.9)
# 如果找到，会返回中心坐标，然后点击

示例 3: 操作特定窗口

# 1. 查找目标窗口
windows = desktop_find_window(title_contains="计算器")

# 2. 激活窗口
desktop_window_activate(title_pattern="计算器")

# 3. 点击窗口中的按钮
desktop_click_window(
    title_contains="计算器",
    control_type="Button",
    control_name="1"
)

安全注意事项

权限要求

本技能需要以下系统权限：

• 屏幕捕获: 用于截图功能
• 键盘输入: 用于文本输入和快捷键
• 鼠标输入: 用于点击、移动等操作
• 剪贴板访问: 用于读写剪贴板
• Shell 执行: 用于运行命令（可选）

敏感操作

以下操作建议开启用户确认：

• desktop_shell - 执行任意 Shell 命令
• desktop_clipboard_get - 读取剪贴板（可能包含敏感信息）
• desktop_screenshot - 屏幕截图（可能包含隐私内容）

用户批准机制

建议在 OpenClaw 配置中启用审批模式：

1. 敏感操作执行前会请求用户确认
2. 用户可以选择批准、拒绝或修改参数
3. 可设置白名单跳过审批

沙箱支持

• 建议在不包含敏感数据的测试环境中首次运行
• Shell 命令可在受限环境中执行
• 截图功能可限制截取区域

安全最佳实践

1. 审批模式: 建议开启命令审批，每次执行前确认
2. 坐标依赖: 屏幕坐标可能因分辨率不同而变化，优先使用图像识别
3. 窗口标题: 使用模糊匹配而非精确匹配，提高鲁棒性
4. 超时处理: 复杂操作应设置合理的等待时间
5. 最小权限: 仅请求必要的权限，避免过度授权

后端选择

系统支持两种后端：

• pyautogui (默认): 纯坐标操作，简单可靠
• pywinauto (备用): Windows UI Automation，支持控件级操作

切换后端：

desktop_set_backend(backend="pywinauto")

错误处理

所有操作返回 JSON 格式结果：

{
  "status": "ok",  // 或 "error"
  "message": "操作描述",
  // 其他字段...
}

建议检查 status 字段确认操作是否成功。

常见问题

Q: 为什么鼠标移动不准确？ A: 可能是分辨率缩放问题，尝试使用 desktop_screen_size() 检查实际分辨率。

Q: 图像识别找不到目标？ A: 降低 confidence 参数值，或确保图像与屏幕显示一致。

Q: 中文输入乱码？ A: 确保系统编码正确，或使用剪贴板方式输入。

Q: pywinauto 无法找到控件？ A: 部分应用使用自定义 UI，无法被 UI Automation 识别，改用坐标或图像方式。