Med LLM Agent

______________________________________________________________________

标题：医学硕士代理人 表情符号🩺 颜色来源：粉红色 颜色：红色 sdk：毕业 sdk版本：5.49.1 app_file：app.py 固定：false 许可证：mit short_description：“使用MedSwin进行医学MCP代理RAG和搜索” 标签：

• mcp在行动轨道企业中的应用
• mcp在行动轨道创意
• 建设mcp轨道企业
• 打造mcp轨道创意

______________________________________________________________________

演示

🩺 MedLLM代理

高级医疗人工智能助理 由具有全面知识检索功能的微调MedSwin模型提供支持。

✨ 主要特点

📄 文档RAG（检索增强生成）

• 上传医疗文件（PDF、Word、TXT、MD、JSON、XML、CSV），并根据您上传的内容获得答案
• Gemini MCP支持的文档解析，用于精确的文本提取
• 具有自动合并检索功能的分层文档索引，用于综合上下文
• 通过在文档中建立响应来减轻幻觉
• 打开/关闭RAG-禁用时，在没有文档背景的情况下提供简洁的临床答案

🌐 Web搜索集成（MCP协议）

• 原生MCP支持：使用模型上下文协议（MCP）工具进行网络搜索和内容提取
• 自动回退：如果未配置MCP，则优雅地退回到直接库调用
• 可配置的MCP服务器：通过环境变量连接到任何兼容MCP的搜索服务器
• 内容提取：使用MCP工具自动从搜索结果中获取和提取完整内容
• 自动文摘：使用Gemini MCP总结网络搜索结果
• 丰富上下文：结合文档RAG+网络资源以获得全面答案

🧠 MedSwin医学专家模型

• MedSwin DT （85%acc）-大力士TIES合并了SFT和KD的模式。
• MedSwin NSL （85%acc）-NuSLERP合并了SFT和KD的模型。
• MedSwin TA （84%）-任务Arimethic合并了SFT和KD的模型。
• MedSwin SFT -（82%acc）监督微调模型。
• MedSwin KD -（83%）MedGemma-27b-it的知识提炼。
• 模型按需下载，以实现高效的资源利用
• 在MedAlpaca-7B上进行了微调，以获得医学领域的专业知识

🌍 多语言支持

• 自动语言检测
• 非英语查询自动翻译成英语
• 英文医学模型流程
• 将回复翻译回原始语言
• 由Gemini MCP提供翻译支持

🧾 临床摄入问答细分

• Gemini摄入分流检查用户的担忧是否需要额外的询问（最多5次随访），并保持每次会话的状态。
• 进气代理进行集中问答，然后将记录自动总结为患者简介、精炼的问题陈述和关键发现，并附上可操作的交接说明。
• Pipeline将结构化的见解和原始记录都注入到主管中，因此下游规划、RAG和搜索都以患者实际说的话为基础。
• 用户可以直接在UI中切换进气流量；禁用会清除任何挂起的后续状态。

样品 对话 记录MAC系统和患者之间的通信。

🎤 语音功能

• 语音到文本：使用Gemini MCP进行语音输入转录
• 内联麦克风体验：内置麦克风小部件，带有实时录音定时器，可将成绩单直接放入聊天框
• 文本转语音：使用Maya1 TTS模型生成语音输出（可选，如果不可用，则回退到MCP），再加上一键“播放响应”控件以获取最新答案

🤝 MAC架构（多代理协作）

• Gemini主管：通过将查询分解为灵活的子主题（根据复杂性最多10个子主题，探索不同的方法）来协调查询处理
• MedSwin专家：按顺序执行任务，提供简洁的临床答案
• 增强合成：主管将所有MedSwin的回答与清晰的上下文相结合，形成全面的最终答案
• 迭代改进：主管挑战并改进答案，直到确认最佳答案（最多2次迭代）
• 搜索模式：Gemini创建1-4个搜索策略→ 执行ddgs搜索（每个搜索1-2个源）→ 简要总结
• 条件搜索触发器：启用搜索模式后，如果答案不清楚或有空白，主管可以触发额外的搜索
• RAG模式：Gemini头脑风暴将文档检索到1-4个简短的上下文中，用于MedSwin决策
• 清洁输出：仅记录所有内部想法/对话；用户只看到最终答案
• Markdown格式：最终答案使用要点（表格自动转换）
• 确定性模式: Disable agentic reasoning switch单独运行MedSwin，提供离线友好、仅限模特的答案

⚡ 自适应策略和诊断

• 自主规划师：Gemini推理现在根据每个查询动态启用/禁用RAG和网络搜索，同时尊重用户切换。
• 并行搜索流：多策略web查找与缓存的MCP工具发现和共享嵌入同时运行，以减少延迟。
• 管道遥测：每个会话都会记录阶段持续时间、策略决策和搜索结果，以便快速进行故障排除和质量跟踪。

⚙️ 高级配置

• 可定制的发电参数（温度、top-p、top-k）
• 可调检索设置（top-k、合并阈值）
• 增加最大令牌以防止提前停止
• 为医疗模型定制EOS处理
• 基于RAG状态的动态系统提示
• 一键代理切换，单独运行MedSwin（无RAG/网络搜索），以获得确定性、离线安全的答案

🚀 用法

1. 上传文档：拖放包含医疗信息的PDF、Word或文本文件
2. 配置设置:

- 启用/禁用文档RAG - 启用/禁用Web搜索（MCP） - 选择医疗型号（MedSwin SFT/KD/TA/DT/NSL）

1. 提出问题：用任何语言键入您的医疗问题
2. 获取答案：获得基于以下内容的全面答案：

- 您上传的文档（如果启用了RAG） - Web源（如果启用了Web搜索） - 医学模型训练知识

🔧 技术细节

• 医学模型：MedSwin/MedSwin-7B-SFT、MedSwin-7-B-KD、MedSwin-合并TA-SFT-0.7、MedSwine-合并NuSLERP-KD-0.7、MedSwing-合并DaRE-TIES-KD-0.7
• 建筑：MAC（多代理协作）-Gemini主管+MedSwin专家
• 翻译：双子座MCP（双子座-2.5-flash-lite）
• 文档解析：Gemini MCP（PDF、Word、TXT、MD、JSON、XML、CSV）
• 语音到文本：双子座MCP（双子座-2.5-flash-lite）
• 主管任务：Gemini MCP（Gemini-2.5-flash）-查询细分、搜索策略、RAG头脑风暴
• MedSwin执行：GPU标记的任务，用于高效推理
• 文本转语音：maya research/maya1（可选，带MCP回退）
• 嵌入模型：abhinand/MedEmbed-arge-v0.1（领域调谐医学嵌入）
• RAG框架：具有层次化节点解析和自动合并检索的LlamaIdex
• 网页搜索：MCP工具，可自动回退到DuckDuckGo
• MCP服务器：捆绑的基于Python的Gemini MCP服务器（agent.py）

📋 需求

看 requirements.txt 获取完整的依赖关系列表。关键依赖关系：

• MCP集成: mcp, nest-asyncio, google-genai （适用于Gemini MCP服务器）
• 回退依赖关系: requests, beautifulsoup4, ddgs （当MCP网络搜索不可用时使用）
• 核心ML: transformers, torch, accelerate
• RAG框架: llama-index, llama_index.llms.huggingface, llama_index.embeddings.huggingface
• 公用事业: langdetect, gradio, spaces, soundfile
• 文本转语音：可选- TTS 软件包（如果不可用，语音功能可与MCP回退配合使用）

🔌 MCP配置

该应用程序使用捆绑的Gemini MCP服务器（agent.py）进行翻译、文档解析、转录和摘要。通过环境变量进行配置

设置步骤：

1. 再进行 （已在requirements.txt中）：

   pip install mcp nest-asyncio google-genai

1. 获取Gemini API密钥:

- 访问 谷歌人工智能工作室 获取API密钥 - 设置它： export GEMINI_API_KEY="your-api-key"

1. 运行应用程序:

- 捆绑的MCP服务器（agent.py）将自动使用 - 无需安装额外的MCP服务器\ 备注：该应用程序需要Gemini MCP进行翻译、文档解析、转录和摘要。如果MCP网络搜索工具不可用，则网络搜索支持回退到直接DuckDuckGo API。

🎯 用例

• 临床决策支持：来自文件和当前医学文献的循证答案
• 医疗文件问答：查询上传的患者记录、研究论文和临床指南
• 多语言咨询：国际患者护理的自动翻译
• 助研：综合来自多个医疗来源的信息
• 药物信息：具有相互作用分析的综合药物信息

🏥 企业级临床决策支持

为医学专家提供基于人工智能的决策支持

MedLLM Agent旨在支持 医生、临床医生和医学专家 通过利用大型语言模型（LLM）和模型上下文协议（MCP）的强大功能，做出明智的临床决策。该系统改变了医疗专业人员实时访问、分析和综合医疗信息的方式。

关键企业能力

1. MAC架构（多代理协作）

• Gemini主管代理:

- 将用户查询分解为灵活的子主题（根据复杂性最多10个，探索不同的方法/角度） - 将所有MedSwin的回答与清晰的上下文综合成全面的最终答案 - 迭代地挑战和增强答案，直到确认最优（最多2次迭代） - 在搜索模式下：创建1-4个搜索策略，执行ddgs（每个1-2个来源），简要总结 - 条件搜索触发器：如果答案不清楚或有空白，可以触发额外的搜索（仅当启用搜索模式时） - 在RAG模式下：头脑风暴将文档检索到1-4个简洁的上下文中 - 所有主管决定都记录在内部，不显示

• MedSwin专业代理:

- 执行Gemini主管分配的任务（GPU标记） - 使用重点上下文按顺序处理每个子主题 - 生成简洁、临床准确的答案 - 返回带项目符号的Markdown格式（表格自动转换）

2. 干净的用户体验

• 隐藏的内心想法：仅记录所有Gemini MedSwin对话
• 仅限最终答案：用户只能看到经过打磨的最终答案
• 结构化输出：Markdown项目符号，没有内部计划表
• 有效处理：上下文保持简短，以尊重令牌限制

医疗专家的企业用例

临床决策支持

• 诊断辅助：上传患者记录、实验室结果和病史。提出复杂的诊断问题，并获得基于您的文件和当前医学文献的循证答案。
• 治疗计划：查询治疗方案、药物相互作用和治疗指南。该系统自动从您的临床文件和当前的医疗数据库中检索相关信息。
• 药物信息与相互作用：通过将处方集文件与最新网络资源相结合，获取全面的药物信息、禁忌症和相互作用分析。

研究与证据综合

• 文献综述支持：上传研究论文、临床试验和医学文献。该系统有助于综合研究结果，识别联系，并回答研究问题。
• 临床指南分析：比较和分析文档库中的多个临床指南、方案和最佳实践。

多语言临床支持

• 国际患者护理：处理多种语言的查询。该系统自动翻译、处理医学模型，并将响应翻译回来，从而为不同的患者群体提供护理。

实时信息访问

• 当前医学知识：利用MCP网络搜索访问：

- 最新治疗方案 - 近期临床试验结果 - 更新药品信息 - 现行医疗指南

• MCP协议优势：标准化、模块化的工具集成允许在搜索提供商之间轻松切换，并提高了可靠性

工作原理：MAC架构在行动

1. Gemini主管-查询细分 → 分析查询并分解为灵活的子主题（根据复杂性最多10个）：

- 示例：“老年肾功能损害患者的2型糖尿病有哪些治疗选择？” - 探索不同的方法（临床、诊断、治疗、预防角度） - 创建结构化的子主题：治疗方案、年龄考虑、肾功能影响、药物相互作用、监测方案 - 子任务数量适应查询复杂性（不限于4个） - 所有计划都记录在内部，不显示给用户

1. Gemini主管-情境准备:

- 搜索模式：创建1-4个搜索策略→ 执行ddgs（每个1-2个源）→ 简要总结 - RAG模式：检索文档→ 为MedSwin头脑风暴1-4个简洁的上下文 - 上下文保持简短，以尊重MedSwin代币限制

1. MedSwin专家-任务执行 （GPU标记）：

- 按顺序执行每个子主题任务 - 从Gemini主管那里获得重点内容 - 生成简洁的临床答案（Markdown项目符号，无表格） - 所有执行都记录在内部

1. Gemini主管-答案综合:

- 以清晰的上下文综合所有MedSwin回复 - 无缝整合所有子主题的信息 - 创建连贯、全面的最终答案 - 提供比简单连接更好的上下文

1. 双子座主管-挑战与提升循环:

- 评估答案质量（完整性、准确性、清晰度） - 挑战即使不是最佳答案 - 提供具体的增强说明 - 迭代增强答案（最多2次迭代） - 继续，直到答案确认为最佳

1. 条件搜索触发器 （仅在启用搜索模式时）：

- 主管检查答案是否不清楚或有空白 - 如果需要，生成特定的搜索查询以填补空白 - 执行其他搜索 - 使用新的搜索上下文增强答案

1. 最终答案汇编:

- 将任何表格转换为Markdown项目符号 - 如果使用网络资源，则添加引用 - 如有需要，可进行回译 - 仅显示最终答案 -所有内心的想法都记录在日志中

企业效益

✅ 时间效率：减少在文档和医疗数据库中搜索的时间\ ✅ 基于证据的决策：在上传的文件和当前的医学文献中找到答案\ ✅ 减少幻觉：RAG确保答案基于实际文件和经过验证的来源\ ✅ 全面覆盖：将机构知识（文件）与当前医学知识（网络）相结合\ ✅ 提高质量：迭代挑战循环确保在交付之前答案是最优的\ ✅ 灵活的任务分解：通过灵活的子任务生成（不限于4个步骤）适应查询复杂性\ ✅ 智能搜索：当答案不清楚时，条件搜索触发器会填补空白\ ✅ 更好的上下文：增强的综合提供了更清晰、更全面的最终答案\ ✅ 可扩展性：处理多种语言、复杂查询和大型文档库\ ✅ 临床工作流程集成：旨在适应现有的临床决策过程\ ✅ MCP协议：实现可靠、可维护的网络搜索功能的标准化工具集成

临床环境中的实施

• 医院系统：通过电子病历集成和机构医学图书馆提供临床决策支持
• 专科诊所：使用特定于专业的文档和指南进行定制
• 医学教育：培训和教育的全面循证答案
• 研究机构：通过综合来自多个来源的信息来加速研究

______________________________________________________________________

⚠️ 重要免责声明：该系统旨在 协助 具有信息检索和综合能力的医学专业人员。它不能取代临床判断。所有医疗决策都必须由合格的医疗保健专业人员做出，他们考虑了完整的临床背景、患者特定的因素以及他们的专业知识。

______________________________________________________________________

专为MCP-1生日黑客马拉松而建：集成MCP协议、文档RAG和自主推理能力的企业级临床决策支持系统。