🤖 MCP驱动的WhatsApp人工智能代理 （支持语音、图像和工具） 该项目是一个基于模型上下文协议（MCP）的强大人工智能助手，通过WhatsApp实现丰富的多模式和上下文对话。它支持文本、语音和图像输入，与生产力工具集成，并通过增强了内存、知识和插件的智能代理路由数据。
🧠 什么是MCP？ 模型上下文协议（MCP）是一个上下文感知编排层，旨在：
智能地路由和丰富消息
跨会话启用持久内存
激活正确的工具（待办事项、电子邮件、社交等）
支持多模式输入（文本、语音、图像）
与人工智能代理接口进行推理和生成
🔧 系统概述
🧩 核心组件 组件功能 WhatsApp触发器捕获来自WhatsApp的传入消息 切换节点路由消息类型（文本、音频、图像） 使用OpenAI GPT的AI代理核心推理引擎，带有内存和工具 MCP服务器触发器允许内部任务和工作流触发AI代理 语音处理程序转录语音并生成音频回复 图像处理程序分析和解释传入的图像 工具模块增加了对电子邮件、待办事项、联系人、社交等的支持。 内容创作者代理写作和创意生成的专业子代理
✨ 特性 🎙️ 语音支持 转录WhatsApp语音消息
使用TTS以语音回复
🖼️ 图像理解 分析图像内容（OCR、对象等）
生成基于图像的提示和回复
💬 文本理解 根据上下文处理WhatsApp消息
支持问答、任务自动化等。
📚 知识+记忆 查询长期知识库（通过OpenAI嵌入）
使用Simple memory模块保留会话内存
🛠 工具集成 ToDos：查看、添加和更新任务
电子邮件：阅读、起草和发送电子邮件
CRM:从数据库中获取联系人
社交媒体：生成内容帖子
自定义工作流：触发内部或外部操作
🔗 依赖项 OpenAI GPT（聊天、嵌入）
耳语/语音转文本
TTS/语音生成API
WhatsApp商业云API
MCP协议引擎（自定义编排逻辑）
SerpAPI（网络搜索可选）
数据库（用于联系、记忆、知识等）
🚀 工作原理（流程摘要） 通过WhatsApp接收消息→ 触发
开关→ 文本/语音/图像处理程序的路由
处理程序处理内容并转发给AI代理
AI Agent使用内存、工具和上下文进行推理
基于意图：
用文字或语音回复
触发工具（例如，发送电子邮件、创建任务）
查询知识库
输出通过WhatsApp发回
🛡️ 用例 客户支持自动化
团队虚拟助理
通过WhatsApp进行CRM和销售跟进
通过消息传递提高个人生产力
内容生成和社交发布