comfyui是什么
ComfyUI 是一个功能强大的、模块化的可视化操作界面,专为 AI 图像和视频生成设计。它采用基于“节点”的图形化工作流系统,让用户可以通过拖拽和连接不同功能模块的方式,来构建和运行复杂的 Stable Diffusion 模型流程。 与传统的编程方式不同,使用 ComfyUI 无需编写代码,也能完成从模型加载、参数设置到图像生成的全过程。这种直观的操作方式,不仅适合初学者快速上手,也为高级用户提供了高度的灵活性和控制能力。 本文将带你了解 ComfyUI 的核心概念、系统架构以及主要功能,帮助你更好地掌握这一强大工具。
Comfyui Info
Overview 概述
ComfyUI 是一个功能强大的、模块化的可视化操作界面,专为 AI 图像和视频生成设计。它采用基于“节点”的图形化工作流系统,让用户可以通过拖拽和连接不同功能模块的方式,来构建和运行复杂的 Stable Diffusion 模型流程。
与传统的编程方式不同,使用 ComfyUI 无需编写代码,也能完成从模型加载、参数设置到图像生成的全过程。这种直观的操作方式,不仅适合初学者快速上手,也为高级用户提供了高度的灵活性和控制能力。
本文将带你了解 ComfyUI 的核心概念、系统架构以及主要功能,帮助你更好地掌握这一强大工具。
有关执行系统的详细信息,请参阅核心体系结构和执行系统。
什么是ComfyUI?
ComfyUI 是一个开源应用程序,允许用户通过可视化节点图界面创建、修改和执行复杂的 AI 生成工作流程。它用作各种 AI 模型的前端,主要专注于用于图像生成的扩散模型,但也支持视频、3D 和音频生成。
ComfyUI 的主要设计原则包括:
- 模块化:每个作都是一个节点,可以连接以构建复杂的工作流程
- 效率:智能缓存和模型管理优化了资源使用
- 灵活性:支持各种模型和技术
- 控制:对生成过程的各个方面进行精细控制
支持的模型类型
ComfyUI 支持各种 AI 模型和格式。 支持的类别和型号如下表:
类别 | 模型名称 |
---|---|
Image Models | SD1.x, SD2.x |
SDXL, SDXL Turbo | |
Stable Cascade | |
SD3 and SD3.5 | |
Pixart Alpha and Sigma | |
AuraFlow | |
HunyuanDiT | |
Flux | |
Lumina Image 2.0 | |
HiDream | |
Video Models | Stable Video Diffusion |
Mochi | |
LTX-Video | |
Hunyuan Video | |
Nvidia Cosmos | |
Wan 2.1 | |
Audio Models | Stable Audio |
ACE Step | |
3D Models | Hunyuan3D 2.0 |
ComfyUI 还支持各种技术,包括 LoRA、文本反转/嵌入、超网络、ControlNet、T2I 适配器、GLIGEN 等。
数据流和工作流执行
ComfyUI 在基于图形的工作流上运行,其中节点处理数据并相互传递。系统使用类型化连接来确保节点之间的兼容性。
执行系统仅处理自上次执行以来已更改的图形部分,通过不重新计算未更改的组件来优化性能。
显存管理
ComfyUI 包括复杂的显存管理,允许它在具有不同 VRAM 级别的设备上运行:
模式 | 所需显存 | 行为描述 |
---|---|---|
HIGH_VRAM | 12GB+ | 将所有模型保留在显存中以获得最大速度 |
NORMAL_VRAM | 8GB+ | 根据需要加载和卸载模型 |
LOW_VRAM | 4GB+ | 将模型拆分为多个部分以适应有限的显存 |
NO_VRAM | 2GB+ | 仅将必要的处理张量保留在显存中 |
CPU_ONLY | 0GB | 所有处理都在CPU上进行(速度较慢) |
这种分层方法会自动适应可用的硬件,使 ComfyUI 可以在从高端 GPU 到仅 CPU 设置的各种设备上访问。
使用和交互
用户通过其 Web 界面与 ComfyUI 交互,该界面为创建节点图提供了画布。该接口允许:
- 创建节点并将其连接到表单工作流
- 执行工作流以生成图像、视频或其他媒体
- 将工作流保存和加载为 JSON 文件
- 导出带有嵌入式工作流元数据的生成媒体
- 从生成的 PNG/WebP 文件加载工作流程
ComfyUI 包括用于常见作的便捷键盘快捷键:
操作 | 快捷键 |
---|---|
将当前图形加入队列 | Ctrl+Enter |
将当前图形置为队列首个 | Ctrl+Shift+Enter |
取消生成 | Ctrl+Alt+Enter |
保存工作流程 | Ctrl+S |
加载工作流程 | Ctrl+O |
复制/粘贴节点 | Ctrl+C / Ctrl+V |
删除节点 | Delete / Backspace |
折叠/展开节点 | Alt+C |
ComfyUI的安装方式
ComfyUI 可以通过多种方式安装和运行:
- 桌面应用程序:适用于 Windows 和 macOS 的预打包版本
- Windows 便携包:适用于 Windows 的独立版本
- 手动安装:适用于所有作系统(Windows、Linux、macOS)
- Docker: 基于容器的安装
- Jupyter Notebooks: 用于在 Colab 或 Kaggle 等云服务上运行
每种安装方法都支持不同的 GPU 类型和平台:
开发和扩展
ComfyUI 旨在通过自定义节点进行扩展。开发人员可以创建自定义节点来添加新功能、与其他系统集成或实施专门的工作流。 该系统采用模块化架构,无需修改核心代码库即可添加新功能。通过自动 linting 和测试来维护质量保证。
结论
ComfyUI 通过其基于节点的界面为 AI 图像和视频生成提供了一个强大、灵活的框架。其高效的架构、全面的模型支持和复杂的内存管理使其可供具有不同硬件功能的用户使用,而其模块化设计允许广泛的定制和扩展。
有关 ComfyUI 特定方面的更多详细信息,请参阅本文档中的相应部分。