【comfyui教程】ComfyUI喂饭教程!一个适合新手的工作流搭建思路!

前言

在[《解锁ComfyUI:新手到高手的五级跳》]这篇文章中,我分享了自己学习ComfyUI的五个阶段,而最后一个阶段——创建自己的工作流,尚未详细介绍。今天我就来填坑啦~

自己动手,丰衣足食,自己从头到尾搭建一个工作流,才是真正掌握ComfyUI精髓的王道。我们马上开始吧!


一、明确目标,分析问题

在动手之前,我们需要先明确自己的需求和目标,这也是完成一个工作流搭建的首要步骤。假设我现在要做一个露营活动海报,我手头有这样一张图片,但我想要的表现形式是手绘风格人物与真实户外场景相结合。

那么我要解决的问题便是:

  • 抠出人像。

  • 针对人像做局部重绘,使其转绘成手绘风。

二、探索实现目标的路径

明确了目标之后,就开始研究有哪些路径可以实现,从而选择效果更好或效率更高的方式。

抠出人像,我们有几种选择:

  • 使用Photoshop等软件抠图,再上传图片蒙版。

  • 在ComfyUI局部重绘蒙版编辑器里直接绘制。

当然,还有更智能的选择,比如使用ComfyUI里的智能抠图节点,SAM+Grounding DINO的组合。

Grounding DINO能够根据用户输入的文本描述检测图像中的物体,生成一个大致的区域范围,而SAM(Segment Anything Model)可以在这个区域里做更仔细的分割,把物体抠出来并生成相应的蒙版。

现在,我把图片加载上去,然后描述要抠的是坐着的这位美女,很快就可以得到抠出以后的人像和对应的蒙版信息了。

至于手绘风格,我们也有多种方法:

  • 直接使用手绘风格的Checkpoint大模型。

  • 通过lora实现风格化。

  • 使用IP-Adapter,借助参考图来塑造风格。

别忘了,重绘人物时加上ControlNet来保持人物的关键特征,而选用哪种Controlnet更合适呢?这也是需要你不断尝试的。

在尝试不同方法的时候,我们可以灵活选用不同的操作界面。比如在WebUI里测试不同模型的效果,毕竟在工作流搭建完成前,WebUI操作起来更方便。

三、逐步构建工作流

准备工作做完了,现在我们来搭建工作流。

我的建议是:化整为零,先完成再完美。想象我们在用积木搭一只巨型猛兽,我们暂时还不清楚它的整体身形,但是可以先把它的头部、四肢、身体、尾巴等核心部位一一搭出来,然后再逐步拼接,渐次成型。

具体步骤如下:

1.添加核心节点。

在ComfyUI的界面上,我们先把每个环节的核心节点添加上:

  • Load Image(加载图像)

  • Load Checkpoint和Load Lora(大模型加载器、Lora加载器)

  • G-Dino+SAM Segment(智能抠图节点)

  • Set Latent Noise Mask(设置Latent噪波遮罩)

  • Controlnet

  • KSampler(K采样器)

  • CLIP Text Encode(文本编码器)

  • Save Image(保存图片)

2.连接核心节点

连接节点时,我们可以采用“顺序连接、逆向倒推、输入点填满”三种思路。

顺序连接:

从最开始的只有一侧端口的节点出发,去思考有哪些地方会跟它产生直接的联系?

与图像加载器产生直接联系的地方有抠图节点、局部重绘、ControlNet。所以从“Load Image”出发的路径有:

模型加载器,在这个工作流里只有K采样器,它的连接路径就是:

顺序连接的思路,可以迅速串联起已经添加进来的大部分主要功能节点。

逆向倒推:

与此同时,你还可以以一种倒推的思路来连线,并在此过程中对核心节点查漏补缺。

比如KSampler,输入端口“条件”,可以逆向连接到ControlNet输出的条件。而ControlNet的条件是和文本编码器读取的提示词条件汇集在一起的,所以它的前面又可以连到文本编码器。文本编码器的Clip直接连回模型加载器。

保存图片的节点,添加一个解码器,倒着接回到KSampler。

输入点填满:

一般情况下,所有节点的输入端口都必须被填满(少量拥有多个功能分支的复杂节点除外)才能正常工作。所以到最后,我们检查看看还有哪些节点的输入没被连上的。

不知不觉间,工作流的核心部分就已经全部串联起来了。

3.补充与完善

经过前面的步骤,一个工作流的大体框架已经搭建出来了。接下来就是完善工作流,比如添加一些调节参数类型的节点:

Tagger反推提示词节点,这样不用每张图片都亲自填写提示词。

Resize Image节点,自动调整图片尺寸,提高工作流效率。

另外,还可以在抠图节点和ControlNet后面添加Preview Image(预览图片)节点,以检查阶段输入结果是否合理。

4.测试与优化

首先测试工作流是否能正常运转,如果前面的操作都到位,这一步应该没什么问题。然后,我们就可以微调各项参数,比如抠图的阈值、lora权重、ControlNet权重、重绘幅度等,找到最佳配置。建议多换几张不同规格/形式的图片,检查是否能稳定输出符合要求的结果。

5.整理工作流

强迫症患者可能会很喜欢这一步。刚完成的工作流界面是这样:

如果只是自己使用,那问题不大。但如果需要分享出去,可就得花时间整理一下了,否则这杂乱无章的节点和连线容易令人抓狂。

首先,把同一功能的节点归在一起,然后上下左右对齐,调节大小,统一颜色。还可以编组,并添加使用标注。对于不再需要修改内容的节点,可以点击左上角的圆点将其隐藏。

好了,整理好的界面是这样的,是不是比刚刚的整齐多了?

今天聊的工作流搭建思路就到这里啦。如果你觉得我的分享对你有帮助,或者你想了解更多相关技巧,那就别忘了点个关注哦!期待下次还能和你在这里相遇!

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值