Computer Use Engine

CUE——计算机使用执行器

英语 | 韩语

AI代理和您的桌面之间缺少安全层。

CUE是用于AI计算机使用代理的安全中间件。它监控、执行策略并提供护栏，以便AI代理可以安全、合规地与您的桌面交互。

______________________________________________________________________

问题

人工智能计算机的使用正在快速加速，但安全基础设施并没有跟上：

• 快速采用 --40%的企业计划到2026年底部署人工智能计算机使用代理
• 无护栏 --只有50%的组织对自主代理有任何安全控制
• 监管即将到来 --《欧盟人工智能法案》（2026年8月）要求对高风险人工智能系统进行人工监督

在人工智能代理和桌面之间没有开源框架来执行安全政策。CUE填补了这一空白。

CUE做什么

┌─────────────────────────────────┐
│  Any AI Agent                   │  Claude, GPT, Agent-S, ...
│  (natural language in/out)      │
└──────────┬──────────────────────┘
           │ MCP protocol (stdio)
┌──────────▼──────────────────────┐
│  CUE — Computer Use Enforcer   │  ← this project
│  ┌────────────────────────────┐ │
│  │ Policy Engine              │ │  risk classification, action filtering
│  │ Guardrails                 │ │  app blocklist, key blocking, rate limits
│  │ Audit Logger               │ │  JSONL compliance trail
│  │ Monitor (coming soon)      │ │  real-time dashboard & event streaming
│  └────────────────────────────┘ │
└──────────┬──────────────────────┘
           │ pyautogui / pygetwindow / pywin32
┌──────────▼──────────────────────┐
│  Desktop OS                     │
└─────────────────────────────────┘

核心价值主张

快速开始

1.安装

git clone https://github.com/yonghwan1106/computer-use-engine.git
cd computer-use-engine
pip install -e .

2.向Claude注册

python scripts/register.py

这会自动将CUE添加到Claude Desktop和Claude Code配置中。

3.重启克劳德，然后出发

重新启动克劳德桌面或克劳德代码。然后问：

“截取我的屏幕截图”

打开记事本，键入“你好，CUE！”

“显示所有打开的窗口”

特点

MCP工具（12）

屏幕截图和屏幕

老鼠

键盘

窗口管理

安全特性

安全政策

所有安全设置均可在中配置 config/default.yaml:

safety:
  max_actions_per_session: 100
  action_delay: 0.05
  failsafe: true
  allowed_apps: []
  blocked_apps:
    - "Windows Security"
    - "Registry Editor"
    - "Task Manager"
  blocked_keys:
    - "win+r"
    - "alt+f4"
    - "ctrl+alt+del"

手动注册

如果您更喜欢手动配置而不是使用 register.py:

克劳德桌面版 --编辑 %APPDATA%/Claude/claude_desktop_config.json:

{
  "mcpServers": {
    "cue": {
      "command": "python",
      "args": ["-m", "cue"]
    }
  }
}

克劳德代码 --编辑 ~/.claude/settings.json:

{
  "mcpServers": {
    "cue": {
      "command": "python",
      "args": ["-m", "cue"]
    }
  }
}

项目结构

computer-use-engine/
├── cue/
│   ├── __init__.py            # Package version
│   ├── __main__.py            # python -m cue entry point
│   ├── server.py              # FastMCP server initialization
│   ├── tools/
│   │   ├── screenshot.py      # Screen capture tools (3)
│   │   ├── mouse.py           # Mouse control tools (4)
│   │   ├── keyboard.py        # Keyboard input tools (2)
│   │   └── window.py          # Window management tools (3)
│   ├── safety/
│   │   ├── guardrails.py      # Action limits, app/key blocking
│   │   └── logger.py          # JSONL audit logger
│   ├── core/                  # Policy engine, risk scoring (Phase 1)
│   ├── monitor/               # Real-time dashboard (Phase 2)
│   ├── adapters/              # Agent-agnostic backends (Phase 4)
│   └── utils/
│       ├── screen.py          # DPI awareness, image processing
│       └── keymap.py          # xdotool → pyautogui key mapping
├── config/
│   └── default.yaml           # Safety configuration
├── scripts/
│   └── register.py            # Auto-registration for Claude
├── tests/                     # Unit tests
├── pyproject.toml
├── LICENSE                    # Apache 2.0
└── README.md

发展

# Install with dev dependencies
pip install -e ".[dev]"

# Run tests
pytest tests/ -v

# Run the server directly (stdio mode)
python -m cue

路线图

需求

• Python 3.11+
• Windows 10/11
• 支持MCP的Claude Desktop或Claude Code

贡献

欢迎投稿！请参阅 许可证 了解详情。

许可证

Apache 2.0