comfyui LLM party

图片

bilibili · youtube · text tutorial · Cloud disk address · QQ group · discord · About us

####

####

C‌‌​‎​‎‏​‍‎​‎​‎‏​‌‎​‎‍​‍‏​‍‌​‌‏omfyui_llm_party旨在基于 舒适界面 作为前端。它允许用户快速方便地构建自己的LLM工作流，并轻松地将其集成到现有的图像工作流中。

效果展示

https://github.com/user-attachments/assets/945493c0-92b3-4244-ba8f-0c4b2ad4eba6

项目概述

ComfyUI LLM Party，从最基本的LLM多工具调用、角色设置到快速构建自己专属的AI助手，再到行业特定的词向量RAG和GraphRAG，实现行业知识库的本地化管理；从单一代理管道，到构建复杂代理-代理径向交互模式和环形交互模式；从个人用户所需的访问自己的社交APP（QQ、Feishu、Discord），到流媒体工作者所需的一站式LLM+TTS+ComfyUI工作流程；从普通学生要求的第一个LLM应用程序的简单开始，到科研人员常用的各种参数调试接口、模型自适应。所有这些，你都可以在ComfyUI LLM Party中找到答案。

快速开始

1. 如果您从未使用过ComfyUI，并且在ComfyUI中安装LLM参与方时遇到一些依赖性问题，请单击 这里 下载 视窗 包括LLM方的便携式软件包。请注意，此便携软件包仅包含party和manager插件，并且与Windows操作系统完全兼容。（如果您需要将LLM party安装到现有的comfyui中，则可以跳过此步骤。）
2. 将以下工作流拖动到您的comfyui中，然后使用 comfyui经理 安装缺失的节点。

• 使用API调用LLM： start_with_LLM_api
• 使用aisuite调用LLM： 开始_与_现场
• 使用ollama管理本地LLM： 开始_与_骆驼
• 使用分布式格式的本地LLM： start_with_LLM_local
• 使用GGUF格式的本地LLM： 开始_使用_LLM_GGUF
• 使用分布式格式的本地VLM： start_with_VLM_local （目前，支持范围已扩大到 火焰-3.2-视觉/Qwen/Qwen2.5-VL/deepseek ai/Janus Pro.)
• 使用GGUF格式的本地VLM： 开始_使用_VLM_GGUF
• 利用API对LLM的调用生成SD提示和图像： 启动_带有_VLM_API_for_SD
• 使用ollama调用minicpm生成SD提示和图像： start_with_ollama_minicpm_for_SD
• 利用本地qwen vl生成SD提示和图像： start_with_qwen_vl_local_for_SD

1. 如果您正在使用API，请填写 base_url （它可以是中继API，请确保它以 /v1/)例如： https://api.openai.com/v1/ 和 api_key 在API LLM加载器节点中。
2. 如果您正在使用ollama，请打开 is_ollama API LLM加载器节点中的选项，无需填写 base_url 和 api_key.
3. 如果您使用的是本地模型，请在本地模型加载器节点中填写您的模型路径，例如： E:\model\Llama-3.2-1B-Instruct。您还可以在本地模型加载器节点中填写Huggingface模型仓库id，例如： lllyasviel/omost-llama-3-8b-4bits.
4. 由于这个项目的使用门槛很高，即使你选择快速启动，我希望你能耐心地浏览一下项目主页。

最新更新

1. LLM API节点现在实现了流输出模式，该模式将在控制台上实时显示API返回的文本，允许您在不等待整个请求完成的情况下实时查看API的输出。
2. LLM API节点增加了reasoning_content输出，可以自动分离R1模型的推理和响应。
3. 一个名为only_api的新分支已添加到存储库中，仅包含api调用组件。这是为只需要调用API的用户设计的。要使用此分支，只需执行以下命令 git clone -b only_api https://github.com/heshengtao/comfyui_LLM_party.git 在 custom node 文件夹 comfyui，然后按照项目主页上提供的环境部署说明进行操作。请注意！必须确保没有其他名为的文件夹 comfyui_LLM_party 在...之内 custom node 文件夹。
4. VLM本地加载器节点现在支持 deepseek ai/Janus Pro，以工作流为例： Janus Pro.
5. VLM本地加载器节点已受支持 Qwen/Qwen2.5-VL-3B说明书，但您需要将变压器更新到最新版本(pip install -U transformers)，示例工作流： qwen vl
6. 添加了一个全新的图像托管节点，目前支持以下图像托管服务https://sm.ms（中国的区域域为https://smms.app)以及https://imgbb.com.未来将支持更多的图像托管服务。示例工作流程： 图像托管
7. ~~默认情况下与参与方兼容的imgbb图像托管服务已更新到域 imgbb 文件之前的图像托管服务因对中国大陆用户不友好而被取代。~~我真诚地道歉，因为API服务似乎在https://imgbb.io已停产。因此，代码已恢复到原始状态https://imgbb.com.谢谢你的理解。将来，我将更新一个支持更多图像托管服务的节点。

用户指南

1. 有关使用该节点的说明，请参阅： 如何使用节点

1. 如果插件有任何问题或您有其他问题，请随时加入QQ群： 931057213 |不和：不和谐.

1. 更多工作流程请参考 工作流 文件夹。

视频教程

模型支撑

• openai （与所有OpenAI模型完全兼容，包括4o和o1系列！）
• 成为 （推荐！如果您在本地调用，强烈建议使用ollama方法来承载您的本地模型！）
• Azure OpenAI
• 呼叫.cpp （推荐！如果你想使用本地gguf格式模型，你可以使用llama.cpp项目的API来访问这个项目！）
• 格罗克
• 统一前文/qwen
• 智浦庆炎/glm
• 深度求索
• kimi/moonshot
• 豆包网
• 火花
• 双子座（新版本中已弃用原来的Gemini API LLM加载器节点。请使用LLM API加载器节点，base_url选择为：https://generativelanguage.googleapis.com/v1beta/openai/)

1. 支持与兼容的所有API调用 简单:

• 人择/克劳德
• 亚马逊网络服务
• 顶点
• 抱抱脸

1. 与变压器库中的大多数本地模型兼容（本地LLM模型链节点上的模型类型已更改为LLM、VLM-GGUF和LLM-GG用友，对应于直接加载LLM模型、加载VLM模型和加载GGUF格式的LLM模型）。如果您的VLM或GGUF格式LLM模型报告错误，请从以下网址下载最新版本的llama cpp python 调用-CPP-Python目前测试的模型包括：

• 封闭角色/Peach-9B-8k角色扮演（推荐！角色扮演模型）
• lllyasviel/omost-calla-3-8b-4bits（推荐！丰富的提示模式）
• Meta-Calma/Calma-2-7b-Chat-HF
• Qwen/Qwen2-7B-说明书
• openbmb/MiniCPM-V-2_6-gguf
• LMStudio-Community/Meta-Calma-3.1-8b-Instruct-GGUF
• Meta-Calma/Calma-3.2-11b-Vision-Instruct
• Qwen/Qwen2.5-VL-3B说明书
• deepseek ai/Janus Pro

1. 模型下载

• 夸克云地址
• 百度云地址，提取代码：qyhu

下载

• 您可以在中配置语言 config.ini，目前只有中文（zh_CN）和英文（en_US），默认为您的系统语言。
• 使用以下方法之一进行安装：

方法1：

1. 在以下位置搜索comfyui_LLM_party comfyui经理 只需单击一下即可安装。
2. 重新启动comfyui。

方法2：

1. 导航到 custom_nodes ComfyUI根文件夹下的子文件夹。
2. 使用克隆此存储库 git clone https://github.com/heshengtao/comfyui_LLM_party.git.

方法3：

1. 点击 CODE 在右上角。
2. 点击 download zip.
3. 将下载的包解压缩到 custom_nodes ComfyUI根文件夹下的子文件夹。

环境部署

1. 导航到 comfyui_LLM_party 项目文件夹。
2. 进入 pip install -r requirements.txt 在终端中，将项目所需的第三方库部署到comfyui环境中。请确保您在comfyui环境中安装，并注意任何 pip 终端中的错误。
3. 如果您使用的是comfyui启动器，则需要输入 path_in_launcher_configuration\python_embeded\python.exe -m pip install -r requirements.txt 在终端中安装。这 python_embeded 文件夹通常与您的文件夹处于同一级别 ComfyUI 文件夹。
4. 如果您有一些环境配置问题，可以尝试使用中的依赖关系 requirements_fixed.txt.

配置

• 语言可以配置为 config.ini，目前只有中文（zh_CN）和英文（en_US）可用，默认设置为您的系统语言。
• 在……里面 config.ini，您可以配置是否启用快速安装。这 fast_installed 选项默认为 False，如果您不需要使用GGUF模型，可以将其设置为 True.
• APIKEY可以使用以下方法之一进行配置

方法1：

1. 打开 config.ini 项目文件夹中的文件 comfyui_LLM_party.
2. 在中输入您的openai_api_key和base_url config.ini.
3. 如果您使用的是OLAMA模型，请填写 http://127.0.0.1:11434/v1/ 在……里面 base_url, ollama 在……里面 openai_api_key，以及您的型号名称 model_name例如： llama3.
4. 如果你想使用谷歌搜索或必应搜索工具，请输入你的 google_api_key, cse_id 或 bing_api_key 在……里面 config.ini.
5. 如果您想使用图像输入LLM，建议使用图像床imgbb并在中输入您的imgbb_api config.ini.
6. 每个型号都可以在 config.ini 文件，可以通过参考 config.ini.example 文件。配置后，只需输入 model_name 在节点上。

方法2：

1. 打开comfyui界面。
2. 创建一个大型语言模型（LLM）节点，并在节点中直接输入openai_api_key和base_url。
3. 如果使用ollama模型，请使用LLM_api节点，填写 http://127.0.0.1:11434/v1/ 在……里面 base_url 节点，填写 ollama 在……里面 api_key，并在中填写您的型号名称 model_name例如： llama3.
4. 如果要使用图像输入LLM，建议使用图形床imgbb并输入 imgbb_api_key 在节点上。

更新日志

点击此处

下一步计划：

1. 更多的模型调整；
2. 建立代理的更多方法；
3. 更多自动化功能；
4. 更多知识库管理功能；
5. 更多的工具，更多的角色。

我的另一个有用的开源项目：

超级特工派对 是一款具有无限可能性的3D AI桌面伴侣！具有RAG、网络搜索、长期记忆、代码解释器、MCP、A2A、Comfyui、QQ bot等功能！ image

免责声明：

本开源项目及其内容（以下简称“项目”）仅供参考，并不意味着任何形式的明示或暗示的保证。项目的贡献者不对项目的完整性、准确性、可靠性或适用性负责。您对本项目的任何依赖都将由您自行承担风险。在任何情况下，项目的贡献者均不对任何间接、特殊或后果性损害或因使用项目而造成的任何损害负责。

特别感谢：

贷款清单

此项目中的一些节点借用了以下项目。感谢您对开源社区的贡献！

1. pythongossss/ComfyUI自定义脚本
2. lllyasviel/Omost

技术支持：

加入社区

如果插件有问题或您有任何其他问题，请加入我们的社区。

1. 不和：不和谐链接
2. QQ群： 931057213

1. 微信群： we_glm （添加小助手微信后进入群组）

关注我们

1. 如果您想继续关注此项目的最新功能，请关注Bilibili帐户： 派酱
2. youtube@comfyui-LLM-party

明星历史