ComfyUI InfoComfyUI Info

comfy_clip_blip_node

这是一个用于将BLIP集成到CLIPTextEncode的ComfyUI节点，现已正式集成。依赖项包括Fairscale、Transformers、Timm和Gitpython，其中Fairscale需要安装。本地安装需在特定目录运行命令，谷歌Colab安装则需添加特定代码单元格。使用时，添加CLIPTextEncodeBLIP节点，连接图像并设置最小和最大长度。还可使用关键词“BLIP_TEXT”将BLIP文本嵌入提示词。其实现依赖于BLIP、ALBEF、Huggingface Transformers和timm的资源。

paulo-coronado

29 stars
GitHub

Description

在CLIPTextEncode中添加BLIP的ComfyUI节点

公告

BLIP 现已通过 comfy_clip_blip_node 项目正式集成到CLIPTextEncode中。

依赖项

  • Fairscale ≥ 0.4.4（未包含在ComfyUI中）
  • Transformers == 4.26.1（已包含在ComfyUI中）
  • Timm ≥ 0.4.12（已包含在ComfyUI中）
  • Gitpython（已包含在ComfyUI中）

本地安装

在 ComfyUI_windows_portable\python_embeded 目录下，运行以下命令：

python.exe -m pip install fairscale

然后，在 ComfyUI_windows_portable\ComfyUI\custom_nodes\ 目录下，运行：

git clone https://github.com/paulo-coronado/comfy_clip_blip_node

Google Colab安装

添加包含以下代码的单元格：

!pip install fairscale
!cd custom_nodes && git clone https://github.com/paulo-coronado/comfy_clip_blip_node

如何使用comfy_clip_blip_node

  1. 在工作流中添加 CLIPTextEncodeBLIP 节点（来自 comfy_clip_blip_node 项目）。
  2. 将该节点连接到图像，并为 min_length（最小长度）和 max_length（最大长度）选择值。
  3. （可选）若要将BLIP生成的文本嵌入提示词，可使用关键词 BLIP_TEXT（例如：“一张BLIP_TEXT的照片，中景，细节复杂，高度清晰”）。

致谢

comfy_clip_blip_node 中 CLIPTextEncodeBLIP 的实现依赖于 BLIP、ALBEF、Huggingface Transformers 和 timm 的资源。我们感谢原始作者的开源贡献。