关键词短语-MCP（或：关键词组-MCP）
*为大型语言模型（LLMs）赋能：实现真实关键词提取*
*使用以下工具和技术构建：*
______________________________________________________________________
概述
这个关键词MCP服务器是一个 自然语言接口 设计用于代理应用，以从提供的文本中提取关键词短语。它与（其他系统或工具）无缝集成 MCP（模型内容协议）客户端该应用利用BERT机器学习模型，使人工智能驱动的工作流程能够更准确、更相关地提取关键词。它直接与您允许目录中的本地文件交互，为大型语言模型（LLM）保存上下文标记。该应用通过仅向MCP客户端暴露提取的关键词，而不暴露原始文件内容，确保了文档处理的安全性。
使用这个MCP服务器，您可以提出以下问题：
- “从文件中提取7个关键词短语。\[ABSOLUTE_FILE_PATH\]”
- “从给定文件中提取3个关键词短语，忽略停用词。停用词：former, due, amount, \[其他停用词\]。文件：\[绝对文件路径\]”
关键词短语帮助用户无需阅读全文即可快速掌握文档的主要内容和主题，并支持以下应用：
- 文档的标签或元数据，提升数字图书馆中的组织性和可发现性
- 从客户评价、社交媒体或新闻文章中识别出的新兴趋势和情感倾向
- 用于其他任务的特征或输入，如文本分类、聚类
关键词-MCP的推理过程
像Claude或ChatGPT这样的自回归大型语言模型（LLM）按顺序处理文本，这不仅限制了它们在整篇文档中全面上下文化关键词的能力，而且随着输入长度的增加，还会导致上下文退化，使得早期的关键词获得的注意力被稀释。
像BERT这样的双向模型，通过同时考虑左右上下文并在序列中保持更一致的注意力，通常能更准确地从文本中提取出现有的关键词短语，并且相关性更高，尤其是在没有进行领域特定微调的情况下。
然而，随着自回归模型采用更长的上下文窗口以及输入分块等技术，其在关键词提取方面的性能正在不断提升，与BERT的差距正在缩小。此外，针对特定领域的微调可以使自回归大语言模型（LLM）的性能超越BERT解决方案。
这款MCP服务器将用于关键词提取的BERT与用于文本生成或润色的自回归大型语言模型（LLM）相结合，实现了无缝的文本处理。
它是如何工作的
服务器采用KeyBERT框架，结合spaCy自然语言处理（NLP）预处理和BERT嵌入，构建了一个多步骤的提取流程
- 候选生成： 关键词计数向量化器（或：关键词计数特征提取器） 使用spaCy识别有意义的关键词候选项 en_core_web_trf（英文全称：English Core Web Transformer） 构建模型并丢弃停用词
- 语义编码候选人信息和文件已通过以下方式嵌入： 多语言改写模型-MiniLM-L12-v2 句子变换器（或句子转换模型）
- 相关性排名: KeyBERT 计算候选关键词与文档嵌入之间的余弦相似度
- 多样性选择： 最大边缘相关性（MMR） 确保关键词短语的多样性，避免冗余
- 最终输出选取最相关且多样化的前N个关键词，并按字母顺序排序
详见配置文档。
文档
许可证
这个项目遵循以下许可协议 麻省理工学院许可证（MIT License）。
联系
如有问题或需要支持，请通过以下方式联系我们： 。