ComfyUI InfoComfyUI Info

ComfyUI-CLIPSeg

该仓库为ComfyUI提供两个自定义节点。CLIPSeg节点利用CLIPSeg模型，根据文本提示为输入图像生成二值掩码和热力图叠加效果，可控制模糊、阈值和膨胀程度。CombineSegMasks节点可将两到三个掩码合并为一个。安装需克隆仓库并将文件放入自定义节点目录，使用示例以JSON文件形式提供。所需库包括PyTorch、CLIPSeg、OpenCV、numpy和matplotlib。

time-river

25 stars
GitHub

Description

自定义节点ComfyUI: CLIPSeg and CombineSegMasks

包含了两个适用于ComfyUI的自定义节点。这些节点借助CLIPSeg模型，基于文本提示为图像修复任务生成掩码。

1. CLIPSeg

CLIPSeg节点为给定的输入图像和文本提示创建一个二进制掩码。

输入

  • image：一个代表输入图像的torch.Tensor。
  • text：一个代表文本提示的字符串。
  • blur：一个浮点值，用于控制应用于掩码的高斯模糊量。
  • threshold：一个浮点值，用于控制创建二进制掩码的阈值。
  • dilation_factor：一个浮点值，用于控制二进制掩码的膨胀程度。

输出

  • tensor_bw：一个代表二进制掩码的torch.Tensor。
  • image_out_hm：一个代表输入图像上热图叠加效果的torch.Tensor。
  • image_out_bw：一个代表输入图像上二进制掩码叠加效果的torch.Tensor。

2. CombineSegMasks

CombineSegMasks节点将两个或可选的三个掩码合并为一个单一的掩码，以增强对不同区域的掩码处理。

输入

  • image：一个代表输入图像的torch.Tensor。
  • mask1：一个代表第一个掩码的torch.Tensor。
  • mask2：一个代表第二个掩码的torch.Tensor。
  • mask3（可选）：一个代表第三个掩码的torch.Tensor。默认值为None。

输出

  • combined_mask：一个代表合并后掩码的torch.Tensor。
  • image_out_hm：一个代表合并后掩码在输入图像上热图叠加效果的torch.Tensor。
  • image_out_bw：一个代表合并后掩码在输入图像上二进制掩码叠加效果的torch.Tensor。

安装

要在你的ComfyUI项目中使用这些自定义节点，请按照以下步骤操作：

  1. 克隆这个仓库或下载源代码。
  2. 将clipseg.py文件放入你的custom_nodes目录。
  3. ???
  4. 享受使用ComfyUI - CLIPSeg带来的便利。

使用方法

以下是预期工作流程的一个示例。示例的JSON文件可以在'workflow'目录中找到。

要求

  • PyTorch
  • CLIPSeg
  • OpenCV
  • numpy
  • matplotlib

确保你已经在ComfyUI的虚拟环境（venv）中安装了所需的库。