Kinova_Mico2-ROS-LLM-集成ROS-MCP服务器。
该项目展示了一个基于ROS的拾取和堆叠机器人系统，该系统使用Kinova Mico 2机械臂，其中高级任务规划是使用Claude Large Language Model（LLM）处理的。机器人使用自然语言、ros mcp服务器自主执行拾取和堆叠操作，并通过ros控制管道执行。
ROS MCP服务器——概念和作用
该项目利用 ROS MCP服务器 作为大型语言模型（LLM）和ROS生态系统之间的桥梁。
ROS MCP（模型上下文协议）服务器使LLM能够：
- 发现可用的机器人功能
- 动态调用ROS服务和操作
- 通过结构化的、基于工具的交互执行机器人任务
MCP服务器将机器人功能作为可调用工具公开，而不是硬编码任务逻辑，允许LLM以模块化和可扩展的方式推理、计划和执行操作。
在这个项目中，ROS MCP服务器在以下方面发挥着关键作用：
- 将自然语言任务指令翻译成ROS级别的动作
- 动态编排拾取和堆叠序列
- 在ROS和MoveIt中实现高级自主性，同时保持低级运动规划
这种架构允许经典的机器人流水线由基于LLM的现代推理控制，而无需修改核心ROS组件。
项目概况：
- Kinova Mico 2机器人执行顺序拾取和堆叠操作
- 克劳德法学硕士用于：
- 任务解释
- 行动顺序
- 高层决策
- 使用ROS和MoveIt处理低级运动执行
- 整个管道在模拟和执行中经过测试和验证
该项目强调了LLM与经典机器人运动规划的集成。
使用的工具和技术：
- 机器人与仿真
- ROS（机器人操作系统）
- MoveIt–运动规划和执行
- 凉亭——模拟环境
- Kinova Mico 2 SDK
- Gazebo链接附件插件–抓取模拟
- ROS MCP服务器 –LLM到ROS接口
编程和中间件：
- python
- ROS节点、服务和发布者
- TF帧和坐标变换
- 基于定制服务的取放流程
系统工具：
- Linux（Ubuntu）
- Git和GitHub
系统架构（高级）
- 用户提供自然语言指令
- Claude LLM使用推理和计划来解释任务
- LLM与 ROS MCP服务器
- ROS MCP服务器将机器人操作作为可调用工具公开
- ROS服务将动作转化为机器人运动目标
- MoveIt计划无碰撞轨迹
- Kinova Mico 2执行拾取和堆叠动作
- 在Gazebo中附着/拆卸物体以模拟抓握
主要亮点：
- LLM与机器人操作的集成
- 无需硬编码序列的自主任务执行
- 基于模块化ROS服务的架构
- 演示机器人中的人工智能指导决策
未来改进：
- 基于视觉的目标检测
- 使用RGB-D摄像头进行真实部署
- 从执行到LLM的反馈循环
- 多目标任务规划
硬件部署和更新
视觉系统和眼对手校准
该系统包含一个 视觉引导操纵管道 使用外部RGB-D相机设置（眼对手配置）。
摄像机设置
- 外部安装的Intel RealSense深度摄像头（俯视图/侧视图）
- 为对象检测和跟踪提供完整的工作区可见性
- 相机框架相对于机器人基架进行校准
眼到手校准
- 实现 基于Aruco标记的校准
- 已解决 手眼校准问题（AX=XB） 计算以下各项之间的转换：
- 照相机框架 - 机器人基架
- 实现了从图像坐标的精确映射→ 机器人坐标
感知管道
- RGB-D数据用于：
- 目标检测和分割 - 基于深度的定位 - 三维坐标提取
- 使用处理的坐标变换 ROS TF
这使得在结构化的工作空间中进行精确的视觉引导拾取和放置操作成为可能。
机器视觉流水线
感知系统处理视觉输入以生成可操作的机器人命令。
管道步骤：
- 从Intel RealSense捕获RGB-D数据
- 使用基于颜色/几何的分割检测对象
- 估计相机帧中的对象姿态（x，y，z）
- 使用TF将坐标转换为机器人基架
- 生成用于操纵的抓握姿势
主要特点：
- 实时对象定位
- 基于深度的操纵精度
- 对不同的物体位置具有鲁棒性
- 与运动规划管道集成
迈向现实世界部署
该系统旨在通过以下方式从模拟环境过渡到现实世界环境：
- 集成基于RGB-D相机的感知
- 实现视觉引导操作
- 支持动态对象定位
- 通过工作空间限制维护安全
未来的工作包括：
- 使用深度学习进行实时目标检测（YOLO）
- 多摄像头感知设置（俯视+侧视）
- 改进了复杂物体的抓取计划
致谢
该项目建立在 ROS MCP服务器 由Robot MCP社区开发。
- 🔗 ROS MCP服务器存储库：\
https://github.com/robotmcp/ros-mcp-server
ROS MCP服务器已集成并调整为与本项目中使用的Kinova Mico 2拾取和堆栈管道配合使用。
👤 作者
Vaasantha Sri Surya 计算机科学工程师|机电一体化背景 对嵌入式系统、机器人和人工智能感兴趣
🔗 领英：www.LinkedIn.com/in/vaasantha-sri-surya-kalidindi-3ba72333a