先说结论:为什么认真画图的人最后都去了 ComfyUI
AI 绘图工具大致分两类界面:一类是表单式的 WebUI——填提示词、拉几个滑杆、点生成,简单直接;另一类就是 ComfyUI 这种节点式的——整个生成过程摊开成一张流程图,每个环节是一个节点,连线就是数据流。刚打开 ComfyUI 的人通常会被满屏的框和线吓退,但只要你想做的事稍微复杂一点,比如「先生成、再放大、再局部重绘、最后按另一张图的姿势摆好」,表单式界面就会开始不够用,而节点式可以把每一步明明白白串起来、单独调、单独重跑。
本篇主线:装好 ComfyUI → 搞懂节点与工作流的概念 → 把默认文生图工作流逐个节点拆开讲透 → 吃透 KSampler 参数表 → 概览图生图、高清修复、局部重绘、ControlNet 四种进阶玩法 → 知道模型和自定义节点去哪找。跟着走完,你不光会出图,还能看懂别人分享的工作流并改成自己的。
ComfyUI 是什么:把生成过程摊开给你看
ComfyUI 是一个基于节点的 Stable Diffusion 图形界面后端。它的核心思想是:扩散模型的生成过程本来就是一串确定的步骤——加载模型、编码提示词、从噪声开始采样、解码成像素——那就干脆把每一步做成一个节点,让用户自由拼装。
和表单式 WebUI 的区别,可以这样理解:
| 维度 | 表单式 WebUI | ComfyUI |
|---|---|---|
| 上手难度 | 低,填空点按钮 | 高,先要理解节点与连线 |
| 流程可见性 | 黑盒,只能调暴露出来的参数 | 全透明,每一步的输入输出都看得见 |
| 复杂流程 | 靠插件堆功能,互相容易冲突 | 自己串节点,想怎么组合怎么组合 |
| 复现与分享 | 靠抄参数 | 整个工作流就是一个 JSON 文件,拖进去即还原 |
| 显存占用 | 相对较高 | 相对较低,模型卸载与调度更积极 |
| 出图一致性 | 同参数可复现 | 工作流+种子固定后可精确复现每一步 |
ComfyUI 的核心价值是:工作流本身就是可保存、可分享、可复现的资产。别人发你一张用 ComfyUI 生成的图片,图片里往往就内嵌了完整的工作流信息,直接把图片拖进 ComfyUI 界面,整张流程图原样还原——这是它生态繁荣的根基。
也正因为流程全透明,ComfyUI 成了新模型、新技术落地最快的平台:SDXL、Flux 等新架构出来后,往往先在 ComfyUI 里跑通;视频生成模型的工作流也大多以 ComfyUI 为载体(本系列后面的 AI 视频提示词工作流 里会再提到它)。
安装:便携包最省事,手动装最可控
方式一:官方便携包(Windows 推荐)
官方为 Windows 提供免安装便携包,解压即用,自带独立的 Python 环境,不污染系统:
- 到项目仓库的 Releases 页面下载
ComfyUI_windows_portable压缩包(分 NVIDIA 版与 AMD 版,按显卡选); - 解压到任意目录(路径尽量不要有中文和空格);
- 双击
run_nvidia_gpu.bat启动,浏览器打开http://127.0.0.1:8188就是界面。
便携包的缺点是环境封闭,后续装自定义节点遇到依赖问题时不如手动安装好排查。新手先用便携包跑通第一张图,完全没问题。
方式二:手动安装(Linux / macOS / 想长期折腾的 Windows)
git clone https://github.com/comfyanonymous/ComfyUI.gitcd ComfyUI
# 先按你的显卡装 PyTorch(NVIDIA 示例,版本以 PyTorch 官网为准)pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu124
# 再装 ComfyUI 自身依赖pip install -r requirements.txt
# 启动python main.py常用启动参数:
# 允许局域网访问(默认只监听本机)python main.py --listen 0.0.0.0 --port 8188
# 显存紧张时python main.py --lowvram
# 指定模型目录(和别的绘图工具共用模型时很有用)python main.py --extra-model-paths-config extra_model_paths.yamlWARNING
--listen 0.0.0.0会把界面暴露到局域网,而 ComfyUI 本身没有任何登录鉴权。千万不要把 8188 端口直接映射到公网,需要远程使用时走内网穿透加鉴权或 SSH 隧道,别裸奔。
显存门槛速览
| 模型架构 | 最低显存(能跑) | 舒适显存 | 说明 |
|---|---|---|---|
| SD 1.5 | 4GB | 6GB | 512×512 起家,分辨率低 |
| SDXL | 6GB | 8–10GB | 1024×1024 原生,生态最庞大 |
| Flux.1(fp8 量化) | 8GB | 12GB | 画质强,完整版更吃显存 |
| Flux.1(完整精度) | 16GB | 24GB | 也可走量化路线降低门槛 |
显存不够时还有两条路:一是 --lowvram 参数把部分计算挪到内存里(慢,但能跑);二是把模型部署在带 GPU 的服务器或云主机上——Docker 里直通 NVIDIA 显卡的完整方法见本系列的 Docker GPU 直通篇。
界面与核心概念:节点、连线、工作流
打开界面你会看到默认加载好的一张工作流。先建立三个概念,后面拆解就顺了:
- 节点(Node):一个处理步骤。每个节点左侧是输入口、右侧是输出口,口子按数据类型分颜色——模型、条件(提示词编码结果)、潜空间、图像各有专属类型,类型不对连不上,这是 ComfyUI 防呆的第一道关。
- 连线(Link):数据流的方向。从输出口拖到输入口即可连接;按住节点标题可整体拖动,滚轮缩放画布,双击空白处可以搜索并添加新节点。
- 工作流(Workflow):整张图的存档。点界面上的 Save 可存为 JSON 文件;把 JSON 文件(或内嵌工作流的 PNG 图片)拖进界面即可完整还原。
Ctrl+Enter是排队生成的快捷键,点 Queue Prompt 也一样。
还有一个关键认知:ComfyUI 是「改哪跑哪」的增量执行——你只改了提示词,它只会重跑受影响的下游节点,上游没变的节点直接用缓存。所以调参数试错的成本比想象中低,改个种子重跑采样即可,不用从头再来。
界面右上角的 Queue 队列面板能看到排队与历史记录;生成的图默认保存在安装目录的 output 文件夹里,按日期和前缀归档。
逐节点拆解:默认文生图工作流
默认工作流只有 7 个节点,却完整覆盖了扩散生成的全部环节。逐个讲清,你就掌握了 ComfyUI 的「语法」。
1. Load Checkpoint(加载检查点)
全图的源头。下拉框里选一个大模型文件,它同时吐出三路输出:
- MODEL:扩散模型本体(UNet),负责真正的去噪计算;
- CLIP:文本编码器,负责把提示词翻译成模型能懂的向量;
- VAE:变分自编码器,负责在像素空间与潜空间之间转换。
模型文件放在安装目录的 models/checkpoints 文件夹里,放好后刷新页面就能在下拉框里看到。选哪个模型决定了画风上限,选型思路见本系列的 开源模型怎么选。
2. CLIP Text Encode ×2(正、负提示词编码)
两个一模一样的节点,一个写正面提示词、一个写负面提示词。它们接收 Load Checkpoint 的 CLIP 输出,把文本编码成 CONDITIONING(条件) 送给采样器:
- 正面:描述你想要什么——主体、场景、画风、光线,英文逗号分隔的短语为主;
- 负面:描述你不要什么——低质量、变形的手、多余的肢体之类常见缺陷词。
注意:两个节点用的必须是同一个 CLIP(即同一个大模型配套的编码器),串错了模型会出现语义完全对不上的怪图。
3. Empty Latent Image(空白潜空间)
生成一张「全噪声的底图」,但它不在像素空间,而在压缩后的潜空间里。这里设三个值:
- width / height:出图尺寸。SD 1.5 模型用 512×512,SDXL 用 1024×1024,乱设大尺寸容易出重影和拼贴感;
- batch_size:一次并行生成几张,显存够的话调 2–4 一次多抽几张挑。
4. KSampler(采样器)——全图的心脏
它接收 MODEL、正负 CONDITIONING 和空白 LATENT,按参数一步步把噪声「雕刻」成有语义的潜图,再输出给解码环节。它是参数最多、也最值得吃透的一个节点,下一节专门列表讲。
5. VAE Decode(VAE 解码)
把采样完成的潜图翻译回真正的像素图像。输入是 KSampler 的 LATENT 输出和 Load Checkpoint 的 VAE 输出,一根线的事,没什么可调的。
6. Save Image(保存图像)
接收解码后的 IMAGE,落盘到 output 目录,filename_prefix 控制文件名前缀。它的兄弟节点 Preview Image 只预览不存盘,调试工作流时常用。前面提到的「图片内嵌工作流」就是 Save Image 干的——保存时它把整张图的节点信息写进了 PNG 元数据。
把七个节点连起来看一遍数据流:
Load Checkpoint ──MODEL──► KSampler ──LATENT──► VAE Decode ──IMAGE──► Save Image │ ▲ ▲ ▲ ├─CLIP─► 正面编码 ────┘ │ │ ├─CLIP─► 负面编码 ───────┘ │ └─VAE─────────────────────────────────────────┘Empty Latent Image ──LATENT──► KSamplerKSampler 参数速查:六个参数各管什么
| 参数 | 管什么 | 常用范围 | 调错的症状 |
|---|---|---|---|
| seed(种子) | 噪声的随机起点,固定它就能复现同一张图 | 任意整数,-1 为随机 | 每次出图都不一样、无法复现,多半是它没固定 |
| steps(步数) | 去噪迭代次数,越多细节越收敛 | 20–30(常规采样器) | 太少画面糊、结构没长完;太多纯属浪费时间 |
| cfg(提示词相关性) | 模型听提示词话的程度 | 5–9(SDXL 常用 5–7) | 太低画面散、跑题;太高颜色烧焦、线条过锐出「油腻感」 |
| sampler_name(采样器) | 用哪种算法去噪 | euler、dpmpp_2m、euler_ancestral 等 | 没有绝对优劣,换采样器等于换笔触,要配合调度器 |
| scheduler(调度器) | 每一步噪声衰减的节奏曲线 | normal、karras、sgm_uniform 等 | 与采样器不搭会出现细节丢失或噪点残留 |
| denoise(重绘幅度) | 保留多少输入潜图、重画多少 | 文生图固定 1.0;图生图 0.3–0.8 | 文生图不是 1.0 会残留初始噪声,出图发灰 |
几个实战要点:
- 文生图时 denoise 必须是 1.0。它表示「把输入噪声完全重画」,低于 1.0 等于让一部分纯噪声直接进解码,出图蒙灰、噪点洗不掉,九成是这个值被误改了。
- steps 不是越多越好。常规采样器 20–30 步后收益急剧递减,翻倍步数换不来翻倍画质,只换来翻倍等待。
- cfg 和模型强相关。SDXL 系大多在 5–7 舒适,Flux 等新模型甚至只需要 1–3.5 或用专用引导节点,抄参数时先确认对方用的什么模型。
- 快速采样器(如 LCM、Turbo 类模型)是例外:它们专为 4–8 步设计,steps 按其说明给,别套常规经验。
调参顺序建议:先固定种子,定住 sampler 与 scheduler,再调 steps 与 cfg——一次只动一个变量,对比才有意义。
进阶玩法概览:四条支线
默认工作流跑顺之后,常见需求基本落在这四条支线上。它们都不用换软件,只是往图里加节点。
图生图(Img2Img)
拿一张现成的图当起点重绘。做法:用 Load Image 节点读入图片,经 VAE Encode 转成潜图,替换掉 Empty Latent Image 喂给 KSampler,并把 denoise 调到 0.3–0.8——值越小越像原图,越大改动越狠。风格迁移、草图上色、照片转绘都走这条线。
高清修复(Hires Fix)
先在低分辨率出图、再放大重绘补细节,避免直接大尺寸出图的重影问题。ComfyUI 里的典型串法是:第一遍 KSampler 出图 → 解码 → 用 Upscale Image(或加载放大模型的 Image Upscale With Model)放大 → 再 VAE Encode 回潜图 → 第二个 KSampler 以 0.3–0.5 的低 denoise 补细节 → 解码保存。也有 Latent Upscale 节点直接在潜空间放大,速度快但细节补充不如像素放大扎实。
局部重绘(Inpainting)
只改图中的一小块:右键 Load Image 节点选「在遮罩编辑器中打开」,涂出要重绘的区域;把图片经 VAE Encode (for Inpainting) 节点(它多一个 mask 输入和 grow_mask_by 参数)转成带遮罩的潜图,再接 KSampler 并把 denoise 拉到 0.85 以上,提示词只写涂抹区域里想要的内容。换衣服、改表情、去掉路人,都靠它。
ControlNet:给构图上缰绳
提示词管「画什么」,ControlNet 管「怎么摆」。它通过一张控制图约束生成结果的结构,常见预处理类型:
- Canny / Lineart:按边缘线稿控制构图;
- Depth:按深度图控制前后层次;
- OpenPose:按骨骼关节点控制人物姿势;
- Tile:分块放大补细节。
用法是插入 Load ControlNet Model 与 Apply ControlNet 两个节点,把控制图和正负条件接进去再送入 KSampler。控制图可以手画,也可以用预处理节点从照片自动提取。
WARNING这四条支线都会显著增加显存与耗时,尤其是高清修复的第二遍采样和 ControlNet 叠加时。显存爆掉(CUDA out of memory)时先降分辨率或关掉 batch,而不是反复重启碰运气。
模型与自定义节点生态:东西去哪下、放哪
模型放对目录,界面才认
ComfyUI 按类型分目录管理模型,放错位置等于没装:
models/├── checkpoints/ # 大模型(主模型文件)├── loras/ # LoRA 微调小模型├── vae/ # 独立 VAE├── controlnet/ # ControlNet 模型├── upscale_models/ # 放大模型├── clip/ # 独立文本编码器└── unet/ # 独立扩散模型(部分新架构用)下载渠道以两个为主:Hugging Face(官方与开源模型的大本营,新模型首发地)和 Civitai(社区微调模型、LoRA 与工作流分享最集中的地方,附带大量示例图和参数)。下载时注意两点:一是看清文件对应架构——SD 1.5 的 LoRA 用不到 SDXL 模型上;二是认准 .safetensors 格式,来路不明的 .ckpt / .pt 文件可能内嵌恶意代码,能选 safetensors 就别用老格式。
如果和别的绘图工具共用一套模型,不必复制两份:在安装目录建 extra_model_paths.yaml,把对方的模型根目录登记进去即可:
other_ui: base_path: D:/stable-diffusion-webui/models/Stable-diffusion checkpoints: Stable-diffusion loras: Lora vae: VAE自定义节点与 ComfyUI-Manager
官方节点只覆盖核心流程,大量进阶能力来自社区的自定义节点(Custom Nodes):放大套件、面部修复、视频生成支持、批量处理工具等等。手动装法是把节点仓库 clone 进 custom_nodes 目录再装它的依赖,但更推荐先装一个管理器:
cd ComfyUI/custom_nodesgit clone https://github.com/ltdrdata/ComfyUI-Manager.git重启后界面上会多出 Manager 按钮,点开就能搜索、安装、更新自定义节点,还能一键补装某个工作流缺失的节点——打开别人的工作流时如果一片红色报错节点,先去 Manager 里点「Install Missing Custom Nodes」,八成能自动补齐。
WARNING自定义节点本质是在你的机器上运行第三方 Python 代码,装之前先看仓库活跃度与口碑;来路不明的节点包不要装。另外节点更新偶尔会改接口,工作流正用在正事上时,务必先导出 JSON 备份再升级节点和本体。
常见问题与排障
Q:启动时报 CUDA out of memory 或生成到一半显存爆掉?
先降尺寸与 batch_size,再考虑加 --lowvram 启动参数;同时开着其他占显存的程序(游戏、其他推理服务)也会抢占,先关掉再试。
Q:下拉框里找不到刚下载的模型?
先确认文件放进了正确的子目录(大模型进 checkpoints,LoRA 进 loras),再刷新页面;还不行就重启服务。目录对了仍不显示,多半是文件没下完整,对比一下文件大小与发布页标注。
Q:出图全黑或全紫、糊成一团? 按顺序查:模型与 LoRA 架构是否匹配(SD1.5 与 SDXL 混用必翻车)→ VAE 是否串错(某些模型需要配套 VAE,用错会偏色)→ cfg 是否被拉得过高 → denoise 在文生图时是否为 1.0。
Q:打开别人的工作流,一堆节点标红? 是缺自定义节点。用 Manager 的 Install Missing Custom Nodes 补装;补完还红的,可能是节点改名或版本对不上,看工作流来源页的说明确认版本。
Q:换了提示词,图却没变化? 大概率是改错了节点——默认工作流里有两个长得一样的 CLIP Text Encode,一个正一个负;另外注意改完要重新点 Queue Prompt,界面不会自动重跑。
Q:生成速度突然变慢? 查三件事:是否被切到了 CPU 模式(启动日志里会写设备)→ 显存爆了在反复换页(降分辨率验证)→ 尺寸或步数被改大。还有一种是笔记本独显没被调用,确认 PyTorch 装的是 CUDA 版且驱动正常。
Q:想让别人也能用我的工作流? 直接发 Save Image 保存的 PNG 或导出的 JSON 即可,对方拖进界面就还原;记得一并说明用到的模型与自定义节点名称,不然对方打开全是缺模型提示。
小结
ComfyUI 的门槛只在最初的理解成本:一旦你看懂「加载模型 → 编码提示词 → 采样 → 解码」这条主线,以及 KSampler 那六个参数各自的职责,剩下的图生图、高清修复、局部重绘、ControlNet 都只是在这张图上添节点。建议的练习顺序是:先把默认工作流的种子固定住,逐个参数单变量试一遍效果;再照着本篇把图生图和高清修复各串一遍;最后去下载一个别人分享的工作流,对照着拆——这是进步最快的路子。工作流文件记得随手备份,它就是你的配方本。