特殊 代理
将AI连接到虚幻引擎5
完整的Python API访问•71+级设计工具•视觉反馈回路
______________________________________________________________________
什么是SpecialAgent？
SpecialAgent通过以下方式连接AI助手和虚幻引擎5 模型上下文协议（MCP）.将Claude、GPT或任何兼容MCP的LLM直接连接到您的编辑器，并通过自然语言对其进行控制。
SpecialAgent的核心是提供 不受限制的Python执行 通过完全访问UE5的Python API，让你的人工智能助手可以做编辑器能做的任何事情。在这个基础上， 71+专用工具 无需编写一行代码即可处理普通级别的设计任务。
本机HTTP/SSE传输。没有外部桥梁或依赖关系。
______________________________________________________________________
特性
两层权力
完全Python访问权限
完整执行任意Python unreal 模块访问。您的AI助手可以：
- 导入和处理资产
- 创建和修改蓝图
- 生成材质和纹理
- 自动化项目配置
- 构建自定义编辑器实用程序
- 运行验证和QA检查
- UE5 Python API支持的任何内容
这就是无限的基础。如果你能编写脚本，AI就能做到。
关卡设计工具包
71+世界建筑工作流程专用工具：
| 类别 | 功能 |
|---|---|
| 演员 | 生成、转换、复制、删除、批处理操作 |
| 模式 | 网格、圆形、样条曲线和散点放置 |
| 景观 | 雕刻高度、平整、光滑、油漆材料层 |
| 树叶 | 对植被进行密度控制 |
| 照明 | 生成和配置灯光，构建光照贴图 |
| 流媒体 | 管理开放世界的子级别 |
| 导航 | 重建NavMesh，测试寻路 |
| 演出 | 分析统计数据，检测重叠 |
| 组织 | 文件夹、标签、标签、选择管理 |
视觉反馈循环
捕获视口屏幕截图并将其返回到支持视觉的LLM。你的人工智能助手可以看到它构建了什么，评估结果，并改进其方法。
Describe intent → Execute → Screenshot → AI analyzes → Iterate______________________________________________________________________
安装
需求
- 虚幻引擎5.6或更高版本
- Windows、Mac或Linux
- MCP兼容客户端（光标、克劳德桌面等）
设置
- 克隆或下载 将此存储库添加到项目的
Plugins文件夹：
YourProject/
└── Plugins/
└── SpecialAgent/- 重新生成项目文件 （右键单击
.uproject→ 生成Visual Studio/XXcode项目文件）
- 构建和发布 你的项目
- 启用插件 在编辑→ 插件→ 搜索“SpecialAgent”
- 重启 编辑
______________________________________________________________________
快速开始
1.验证服务器
编辑器启动后，检查输出日志中的以下内容：
LogSpecialAgent: MCP Server started on port 8767或者用curl进行测试：
curl http://localhost:8767/health2.配置您的MCP客户端
将SpecialAgent添加到MCP客户端配置中：
{
"mcpServers": {
"SpecialAgent": {
"url": "http://localhost:8767/sse",
"transport": "sse"
}
}
}3.连接和构建
您的AI助手现在可以访问：
- 使用完整的UE5 API执行Python
- 71+级设计工具
- 视口截图
- 编辑器实用程序（保存、撤消、重做）
______________________________________________________________________
服务类别
| 服务 | 方法 | 描述 |
|---|---|---|
| python | 3 | 执行脚本、运行文件、列出模块 |
| 截图 | 2 | 捕捉AI视觉视口 |
| 世界 | 30+ | 演员操作和空间查询 |
| 资产 | 4 | 内容浏览器搜索和检查 |
| 景观 | 5 | 地形雕刻和图层绘制 |
| 树叶 | 3 | 植被粉刷和清除 |
| 照明 | 4 | 光产卵和配置 |
| 流媒体 | 4 | 子级别负载和可见性 |
| 演出 | 3 | 统计和重叠分析 |
| 导航 | 2 | NavMesh构建和路径测试 |
| 视口 | 4 | 相机控制和演员聚焦 |
| 效用 | 5 | 保存、撤消、重做、选择工具 |
| 游戏玩法 | 2 | 触发音量和玩家开始 |
______________________________________________________________________
示例工作流
填充森林（通过工具）
1. assets/search → Find tree and rock assets
2. world/scatter_in_area → Place 500 trees with randomization
3. foliage/paint_in_area → Add grass and ground cover
4. screenshot/capture → Get visual for AI analysis
5. Iterate based on feedback______________________________________________________________________
配置
编辑 Config/DefaultSpecialAgent.ini 自定义：
[/Script/SpecialAgent.SpecialAgentSettings]
; Server port (change if 8767 is in use)
ServerPort=8767
; Auto-start server when editor launches
bAutoStart=true
; Enable verbose logging
bVerboseLogging=false______________________________________________________________________
建筑
┌─────────────────────────────────────────┐
│ MCP Client (Claude, etc.) │
└──────────────┬──────────────────────────┘
│ HTTP/SSE + JSON-RPC 2.0
┌──────────────▼──────────────────────────┐
│ SpecialAgent MCP Server │
│ │
│ ┌─────────────────────────────────┐ │
│ │ Python Service (Primary) │ │
│ │ Full unreal module access │ │
│ └─────────────────────────────────┘ │
│ │
│ ┌─────────────────────────────────┐ │
│ │ 14 Services (71+ Tools) │ │
│ │ Level design & utilities │ │
│ └─────────────────────────────────┘ │
│ │
│ ┌─────────────────────────────────┐ │
│ │ Game Thread Dispatcher │ │
│ │ Thread-safe API access │ │
│ └─────────────────────────────────┘ │
└──────────────┬──────────────────────────┘
│
┌──────────────▼──────────────────────────┐
│ Unreal Engine 5 Editor │
└─────────────────────────────────────────┘______________________________________________________________________
文档
| 文档 | 描述 |
|---|---|
| QUICKSTART.md | 分步设置指南 |
| 结构.md | 插件架构和文件布局 |
______________________________________________________________________
设计理念
71+工具的存在是为了方便和可发现性。Python的执行才是真正的力量。
当你的AI助手看到 world/place_in_circle，它学习到圆形放置是可能的。但对于自定义逻辑——密度衰减、地形感知定位、基于规则的资产变化——它编写Python。
这两层协同工作：用于常见任务的快速工具，用于其他所有任务的无限脚本。
______________________________________________________________________
故障排除
服务器无法启动
- 检查端口8767是否正在使用中：
netstat -an | grep 8767 - 更改端口
DefaultSpecialAgent.ini - 验证插件是否在编辑中启用→ 插件
连接被拒绝
- 确保虚幻编辑器正在运行
- 检查服务器启动消息的输出日志
- 验证防火墙没有阻止本地主机
工具未出现
- 呼叫
tools/list验证注册 - 检查输出日志中的错误
- 重新启动编辑器
客户端未连接
- 某些IDE（如Cursor）可能需要在虚幻引擎编辑器之后启动，因为连接尝试仅在启动时发生。
______________________________________________________________________
技术细节
| 规格 | 值 |
|---|---|
| 发动机版本 | UE 5.6+ |
| 平台 | Windows、Mac、Linux |
| 模块类型 | 编辑器 |
| 传输 | HTTP/SSE（本机） |
| 协议 | JSON-RPC 2.0/MCP |
| 默认端口 | 8767 |
依赖项
PythonScriptPlugin（包含在UE5中）EditorScriptingUtilities（包含在UE5中）
______________________________________________________________________
贡献
欢迎投稿！在提交PR之前，请阅读架构文档。
______________________________________________________________________
许可证
MIT许可证-有关详细信息，请参阅许可证文件。
______________________________________________________________________
*给你的AI助手虚幻引擎的钥匙。*