5-22 inpaint局部重绘

前言:

上一节我们介绍了ControlNet中的绘图与造字。

本节主要介绍ControlNet中的inpaint局部重绘

我们之前的基础课程中,也有用图生图的能力,见该课程  3-5 局部重绘操作实现人物换脸 。 个人感觉结果可能类似,但是ControlNet貌似更好用些。

具体的大家自行判断吧。

知识点:

  1. inpaint局部重绘

基础官方知识:

使用 Inpaint 控制稳定的扩散。

模型文件:control_v11p_sd15_inpaint.pth

配置文件:control_v11p_sd15_inpaint.yaml

图像

实战

总体来看,通过使用ControlNet多Unit的控制,使得重绘的效果更好了些。

具体实现步骤: 

图生图模式选择 重绘。 

设置2道ControlNet控制, Unit0 控制 重绘, Unit1 ,控制使用深度。

选择脸部作为蒙版区域。 最终效果如右图。

和没有使用 ControlNet控制的直接重绘对比下图 。 效果上差一些。 尤其我们使用Depth深度图,感觉立体效果和融合效果,差很多。大家可以多试试。

RA/SD 衍生者AI训练营

### ComfyUI 中实现局部的方法 #### 使用 VAE 内补编码器进行局部ComfyUI 中,一种简单的局部方法是利用 VAE (Variational Autoencoder) 的内补编码器功能。这种方法允许用户指定图像中的特定区域进行制,从而达到修改或优化该部分的效果[^1]。 ```python # Python伪代码展示如何配置VAE用于局部 def setup_vae_inpainting(vae_model, image_path): vae = load_vae_model(vae_model) original_image = read_image(image_path) # 定义要修复的区域mask mask = create_mask(original_image) result = vae.inpaint(original_image, mask) save_result(result) ``` #### 利用 Fooocus Inpaint 进行局部 另一种可选方案是采用专门设计用来处理此类任务的工具——Fooocus inpaint。它能够更精确地控制哪些地方应该被改变,并且通常会提供更好的视觉效果。 #### ControlNet Inpaint 模型的应用 ControlNet 提供了一个名为 `inpaint` 的预训练模型,专为解决这类问题而生。通过这个模块,不仅可以高效地执行局部操作,还能保持原有风格的一致性和连贯性。 #### Clip Seg 蒙版插件的作用 最后值得一提的是 Clip seg 插件,在实际应用过程中非常实用。此插件可以帮助创建高质量的分割掩码(Mask),这对于准备高精度的局部至关要。 #### 图像加载与遮罩编辑 对于希望直观操作的人来说,可以直接对已有的图片进行标记来定义需要调整的地方。具体来说就是在图像加载节点上右键点击并选择“在遮罩编辑器中打开”,这样就能方便快捷地标记出待修正之处[^2]。 #### 输入输出流程说明 整个过程涉及的主要输入要素包括 Fill 和 Clip 模型、文字描述以及目标图片本身;最终得到的结果则是经过修饰后的版本。值得注意的是,这些设置和支持的工作流都可以很方便地保存下来以便日后复使用或者分享给他人[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值