paimon-skill（派蒙技能）

🌟 派蒙.skill - 原神特化 AI 游戏伴侣

play-any-game 已有 88+ 下载量，现推出原神特化版本！让你的 OpenClaw 直接化身派蒙，实时看到你的游戏画面，给你实时指引，甚至能点击游戏按钮帮你操作。再也不用手动截图到百度贴吧问了！

🎯 项目定位

派蒙是旅行者在提瓦特大陆最好的伙伴～

当你在提瓦特冒险时遇到困难：

• 🤔 这个机关怎么解呀？
• 😵 这个Boss打不过怎么办？
• 🤷 找不到NPC在哪里？
• 😕 不知道这个界面怎么操作？
• 🎯 想刷材料但不知道去哪里？

派蒙可以：

1. 截图分析 - 看到你的游戏画面，理解当前状态
2. 解答问题 - 告诉你该怎么解决
3. 简单操作 - 帮你点击界面、解决问题
4. 提供建议 - 角色培养、圣遗物搭配、任务攻略

🔄 核心设计理念

每次操作都有截图，让派蒙能看到操作后的效果，然后继续下一步操作。

┌─────────────────────────────────────────────────────────────┐
│                                                             │
│   派蒙分析截图 ──→ 执行操作 ──→ 自动截图 ──→ 返回给派蒙    │
│        ↑                                           │        │
│        └───────────────────────────────────────────┘        │
│                                                             │
└─────────────────────────────────────────────────────────────┘

📝 OpenClaw 集成说明

🌈 SOUL 替换提示

重要提示！ 本模块为 play-any-game 的原神特化版本，加载 SOUL 后替换父模块的对应游戏设定：

# 加载派蒙的 SOUL 设定（paimon-skill 子模块）
.trae/skills/paimon-skill/games/genshin-impact/SOUL.md

派蒙的角色设定就在 games/genshin-impact/SOUL.md 文件里哦～ 加载后替换OpenClaw原有的SOUL.md，AI 会化身为可爱的派蒙，用派蒙的语气与你交流！

🎮 技能调用方式

OpenClaw 应通过以下方式调用本技能：

# 截图（自动截取原神窗口）
python main.py screenshot

# 截取指定窗口（如果需要）
python main.py capture "原神"

# 点击坐标（相对于窗口）
python main.py click 540 820 "原神"

# 后台点击（不抢鼠标）
python main.py click 540 820 "原神" --background

# 按键
python main.py key Space "原神"

# 按住按键
python main.py hold W 1000 "原神"

# 列出所有窗口
python main.py windows

# 查找按钮
python main.py find confirm "原神"

# 通过文字描述点击
python main.py click_text "确认按钮" "原神"

📊 输出格式处理

技能返回标准JSON格式，OpenClaw 应解析以下字段：

• action: 操作类型（screenshot、capture、click、find 等）
• screenshotPath: 截图文件路径（相对于skill目录）
• timestamp: 操作时间戳
• 其他操作特定字段（如 click 的 x、y 坐标）

🎮 使用方式

基础命令

# 截图
python main.py screenshot

# 截取原神窗口
python main.py capture "原神"

# 点击坐标（相对于窗口）
python main.py click 540 820 "原神"

# 后台点击（不抢鼠标）
python main.py click 540 820 "原神" --background

# 按键
python main.py key Space "原神"

# 按住按键
python main.py hold W 1000 "原神"

# 列出所有窗口
python main.py windows

按钮识别

# 查找按钮位置
python main.py find confirm "原神"

# 查找所有可识别按钮
python main.py findall "原神"

# 列出可用按钮模板
python main.py buttons genshin-impact

# 通过文字描述点击（使用多模态AI）
python main.py click_text "确认按钮" "原神"

🎯 支持的操作

基础操作

原神常用按键

🌟 典型使用场景

场景1：查看角色信息

# 1. 打开角色界面
python main.py key C "原神"

# 2. 截图分析
python main.py capture "原神"

场景2：打开地图查看位置

# 1. 打开地图
python main.py key M "原神"

# 2. 截图分析
python main.py capture "原神"

场景3：移动探索

# 向前走2秒
python main.py hold W 2000 "原神"

场景4：战斗操作

# 释放元素战技
python main.py key E "原神"

# 释放元素爆发
python main.py key Q "原神"

📁 目录结构

.trae/skills/paimon-skill/
├── scripts/               # Python 核心模块
│   ├── __init__.py        # 模块入口
│   ├── click.py           # 点击功能（参考 BetterGI 实现）
│   ├── keyboard.py        # 键盘功能
│   ├── screenshot.py      # 截图功能
│   ├── window.py          # 窗口管理
│   ├── recognition.py     # 图像识别
│   ├── config.py          # 配置管理
│   └── gui_agent/         # 多模态 AI 识图模块
│       ├── base.py        # 抽象基类
│       ├── aliyun.py      # 阿里云 GUI-Plus 实现
│       └── factory.py     # 工厂模式
├── games/                 # 游戏配置
│   ├── genshin-impact/    # 原神
│   │   ├── SOUL.md        # 派蒙角色设定 🌟 重要！
│   │   ├── SKILL.md       # 原神子技能说明
│   │   └── assets/        # 图像资源
│   │       └── buttons/   # 按钮图片
│   └── games.json         # 游戏配置
├── screenshots/           # 截图存储目录
├── main.py                # CLI 入口
├── requirements.txt       # Python 依赖
├── SKILL.md               # 本文件
└── README.md              # 项目说明

🔍 按钮识别

可用按钮模板

项目包含大量原神游戏按钮模板，存放在 games/genshin-impact/assets/buttons/ 目录：

• confirm.png - 确认按钮
• cancel.png - 取消按钮
• map.png - 地图按钮
• teleport.png - 传送按钮
• paimon_menu.png - 派蒙菜单
• inventory.png - 背包按钮
• character_guide.png - 角色按钮
• ... 等200+个按钮模板

使用按钮识别

from scripts.recognition import find_button
from PIL import Image

# 加载截图
screenshot = Image.open('screenshot.png')

# 查找按钮
result = find_button(screenshot, 'genshin-impact', 'confirm')
if result:
    print(f"按钮位置: ({result['x']}, {result['y']})")
    print(f"置信度: {result['confidence']}")

⚙️ 配置说明

配置 GUI Agent API Key

# 设置阿里云 API Key（用于 click_text 功能）
python main.py config --set-api-key YOUR_API_KEY --provider aliyun

# 查看当前配置
python main.py config --show

环境变量

# 设置 API Key
set DASHSCOPE_API_KEY=your_api_key_here

🛠️ 技术规范

环境要求

• Python 3.8+
• Windows 操作系统（使用 Win32 API 实现截图和点击）
• 本机运行：技能需要在本机直接运行，不能在沙箱环境中运行

安装步骤

# 安装依赖
pip install -r requirements.txt

# 测试运行
python main.py screenshot
python main.py capture "原神"

点击实现方式

参考 BetterGI 开源项目实现了两种点击模式：

1. 前台点击模式 (默认)

- 使用 mouse_event API 模拟真实鼠标操作 - 需要窗口在前台 - 会移动真实鼠标光标 - 适用于大多数游戏

1. 后台点击模式 (--background 参数)

- 使用 PostMessage 发送窗口消息 - 不抢夺鼠标，可在后台运行 - 部分游戏可能拦截此类消息

🔒 安全注意事项

• 游戏窗口可见：派蒙需要游戏窗口在可见状态才能分析画面
• 辅助性质：派蒙只是辅助旅行者解决问题，不是全自动挂机
• 策略判断：需要真正策略判断的高难度内容仍需旅行者自己操作

🐛 故障排除

常见问题

1. 截图失败：确保游戏窗口在可见状态
2. 点击无反应：

- 前台模式：检查坐标是否正确，确保游戏窗口在前台 - 后台模式：部分游戏可能拦截 PostMessage，尝试使用前台模式

1. 坐标偏移：确保使用的是窗口相对坐标，而非屏幕绝对坐标
2. 性能问题：减少截图频率，优化循环逻辑
3. Python 依赖问题：确保已安装 pywin32 和 Pillow

日志和调试

• 查看控制台输出获取详细信息
• 检查 screenshots/ 目录的截图文件
• 使用 python main.py windows 查看所有可用窗口

📚 技术参考

本项目点击功能参考了 BetterGI 开源项目的实现方式：

• 前台点击：使用 mouse_event API 模拟真实鼠标操作
• 后台点击：使用 PostMessage 发送窗口消息

感谢 BetterGI 项目的开源贡献！

🌐 开源仓库

• 派蒙.skill：https://github.com/CGandGameEngineLearner/paimon-skill.git
• play-any-game：https://github.com/CGandGameEngineLearner/play-any-game.git

🔗 与 play-any-game 的关系

本模块是 play-any-game 的原神特化子模块，依赖父模块的核心能力：

• 父模块 play-any-game：通用游戏伴侣，支持多款游戏（崩坏：星穹铁道等），提供截图、点击、键盘等基础操作能力
• 本模块 paimon-skill：原神专精，定制了派蒙 SOUL 角色设定、原神按钮模板、游戏特定逻辑（Alt 键等）

激活方式

当用户明确提到原神相关场景时（如"帮我过这个原神任务"、"派蒙帮我"），使用本模块；其他游戏场景使用父模块 play-any-game。

SOUL 路径

.trae/skills/paimon-skill/games/genshin-impact/SOUL.md

派蒙会一直在你身边，旅行者！让我们一起探索提瓦特大陆吧！ 🌟