摘要:本节测试ControlNet的Inpaint重绘效果:先搭建文生图工作流,加入ControlNet相关节点(选择Inpaint预处理器与对应模型),在“加载图像”节点后接“外补画板”扩大画幅,扩出区域即为遮罩区,再将“外补画板”的图像、遮罩接入Inpaint预处理器,同时把“空latent”尺寸设为外扩后大小。实测显示,这种方式下扩图重绘区与原图的融合效果,优于直接用遮罩的图生图。另外对比非遮罩区效果发现,VAE编码器会让遮罩外区域偏离原图,而VAE内补编码器、VAE编码器+设置latent噪波遮罩,都能让遮罩外区域保持与原图一致,仅处理遮罩区。
前面的章节我们已经学习了通过增加遮罩的方式进行局部重绘与扩图的方法,但是通过增加遮罩进行图生图所获取的图像,无论重绘还是扩图,遮罩区域的图像与原图的融合效果都有明显的分界感。本节我们来测试一下controlnet中的inpaint重绘是否可以获得更好的效果。
1 inpaint内补工作流
我们新建一个文生图工作流,先添加controlnet应用相关的节点形成基础的controlnet应用(controlnet预处理器选择inpaint内补预处理器,controlnet加载器也选择inpaint模型)。
“加载图像”节点后添加“外补画板”节点将图像画幅扩大,扩大区域即为新增遮罩区域。

将“外补画板”节点的图像、遮罩接入“inpaint内补预处理器”,作为controlnet预处理的底图。文生图流程中“空latent”节点的宽高需要设置为图像外扩后的尺寸。

输入提示词,获得扩图效果如下,经过多次对比,可以看出controlnet的inpaint重绘模型约束条件下,扩图重绘区域与原图的融合效果优于直接提供遮罩的图生图效果。
2 非遮罩区域的图像变化对比
2.1 VAE编码器效果
“外补画板”节点的图像输出端口通过“VAE编码”连接K采样器,替代原“空latent”,取得效果如下图示意。由于使用“VAE编码器”对扩图后图像整体编码传导进入K采样器进行处理,会导致遮罩外区域与原图产生差异。


2.2 VAE内补编码器
“外补画板”节点的图像输出端口通过“VAE内补编码器”连接K采样器,替代原“空latent”,取得效果如下图示意。可以看出遮罩外区域与原图保持一致并未产生变化,此条件下,K采样器仅对遮罩区域进行处理。


2.3 VAE编码器+设置latent噪波遮罩
“外补画板”节点的图像输出端口通过“VAE编码器+设置latent噪波遮罩”连接K采样器,替代原“空latent”,取得效果如下图示意。可以看出遮罩外区域与原图保持一致,此条件下,K采样器也仅对遮罩区域进行处理。


附件:comfyUI基础整合包,包含秋叶版绘世启动器及comfyui官方版共两个版本,适合Windows系统使用。网盘内压缩文件解压密码VX-huaqs123,为防止下载失败,可先转存再下载。软件均为整合包形式,无需安装,下载后打开文件夹,点击运行图标即可使用。
百度网盘链接:
https://pan.baidu.com/s/1UVeWVFttiWOZEWHtnLav9A?pwd=886e 提取码: 886e
夸克网盘链接:https://pan.quark.cn/s/f445b7325b47
欢迎正在学习comfyui等ai技术的伙伴VX加 huaqs123 进入学习小组。在这里大家共同学习comfyui的基础知识、最新模型与工作流、行业前沿信息等,也可以讨论comfyui商业落地的思路与方向。 欢迎感兴趣的小伙伴,群共享资料会分享博主自用的comfyui整合包(已安装超全节点与必备模型)、基础学习资料、工作流等资源……

致敬每一位在路上的学习者,你我共勉!Ai技术发展迅速,学习comfyUI是紧跟时代的第一步,促进商业落地并创造价值是我们学习的最终目标。
——画青山Ai学习专栏———————————————————————————————
零基础学Webui:
https://blog.youkuaiyun.com/vip_zgx888/category_13020854.html
Comfyui基础学习与实操:
https://blog.youkuaiyun.com/vip_zgx888/category_13006170.html
comfyui功能精进与探索:
https://blog.youkuaiyun.com/vip_zgx888/category_13005478.html
系列专栏持续更新中,欢迎订阅关注,共同学习,共同进步!
————————————————————————————————————
406

被折叠的 条评论
为什么被折叠?



