概览&准备工作
整个工作流主要由checkpoint,Lora加载,基础采样,高清放大,面部重绘,手部修复流程组成。
效果图
工作流使用了一些自定义节点,需要在Manager里安装。
Checkpoint Lora加载,提示词输入
该组用来加载CheckPoint大模型,Lora,以及输入提示词。使用了Lora Stack节点简化多个Lora的载入,在文生图工作流下,直接将正面提示词的输出连接到TobasicPipeLine的positive端口上,图生图工作流略有区别,见下一节。TobasicPipieLine将model,clip,vae,条件集合成一条线,便于后续使用。
图生图工作流
默认情况下图生图工作流处于禁用状态,如要使用,需右键组标题,选择SetNodetoAlways即可启用。
提取图片的提示词
运行工作流即可在WD14Tagger节点下看到输出的提示词,首次启动WD14需要科学上网下载对应的模型,无法科学上网的可以去看教程手动下载模型。
右侧提供了工作流一次生成的图片数量(批次),图像大小的节点。
合成正向提示词条件
此时需要将合成的正向提示词节点连接到TobasicPipeLine上,代表从图提取到的提示词叠加在了输入的正向提示词上。
将图生图的latent连接到基础采样上
可以选择将参考图的latent连接到采样器上进行生成,也可以选择仅使用参考图的提示词,由空latent设置图片大小和批次。
提示词翻译
默认禁用,上方输入中文,下方自动输出对应的英文提示词。
高清修复
两次高清修复,第一次使用nearest-exact方法,你二次使用bislerp方法进行色彩方面的修复。不同方法的原理详见链接。
面部局部重绘
首先通过bbox模型使用方框检测脸部,再使用SAM模型对脸部进行语义分割细化得到脸部区域,再在脸部区域进行重绘,具体调参和原理可以搜索FaceDetailer的教程。
手部修复
原理和面部类似,可以复制一个面部局部重绘组,将检测模型改为手部即可,但本人使用的SDXL检测效果很差,就不放在工作流里了,使用SD基底模型的话有社区提供的Controlnet模型,效果比较好,该组单独放在整体工作流外,有需要可以对应连线。
整体思路是通过MeshGraphhormer HandRefiner提取出手部区域遮罩,并进行局部重绘并用手部修复对应的Controlnet调整训练网络。
最后的高清修复
一个常用的高清修复模块,显存占用比较小,通过将图片分割成多个块进行重绘来提高质量,最后出图可以连接进行高清修复,默认禁用
实用小技巧
实时预览
在Manager中启用实时预览功能可以看到采样器的图片处理过程。
延长连线的中间节点
在新ComfyUI版本下从线端拖出去松手会出现可供选择的快捷节点菜单,里面的Reroute是一个中间节点,常用来理线。
更进一步在松开手时按住shift会出现搜索框可以直接选择节点,左侧有节点的预览图,可以确定是不是自己想要的(双击空白区域也可以打开节点搜索)。
重新连接多个节点
当线已经连好时,如果想改变线的起点(默认情况点线的起点只能创建新的连线),可以按住shift进行拔出操作,如果有多个线端链接,会被一起拔出。