stable diffusion Controlnet常用控制类型解析与实战课程 3

本节内容，给大家带来的是stable diffusion Controlnet常用控制类型解析与实战的第三节课程。前两节的课程，我们已经了解了controlnet一些常用控制类型的用法，包括线稿类，姿态，深度，语义分割控制类型，本节课程，我们将继续讲解一些与图像风格约束相关的controlnet 控制类型 - shuffle、reference和normalmap

这几个控制类型通过将图片的风格，包括颜色，角色，光影等元素特征提取，进而控制图片的绘制。

一：Shuffle

首先看一下shuffle控制类型，该控制类型可以将图片颜色特征融合到新的图像中。

我们看一下shuffle预处理器如何控制绘图，

这里有一幅山水水墨画以及一幅人物图像，我们启用两个controlnet，第一个controlnet单元使用canny，并上传人物图像做参考图，用于提取人物线稿，

第二个controlnet单元选择shuffle，并上传水墨画作为参考图。需要特别提醒的是。使用shuffle引入图片风格时会影响整体构图，我们通常需要调整“引导介入时机”参数，先生成出大体的形状再去改变画风，我们这里设置为0.3，

点击生成。可以看到绘制的人物图片已经融入了水墨画特征。

二：Reference

我们再看一个图像风格约束控制类型reference，

ai绘画有一个很现实的问题，多次出图要保证每次画出的都是同一个人物的话，很困难。即使固定同一个seed值，改变提示词，人物还是可能发生明显变化。比如我们使用一张之前生成的图像，在提示词中增加了smile，固定种子值，所以参数值保持一致，点击生成，绘制的图片，人物还是发生了较大的变化。

要想保持人物一致性，我们可以通过训练同一个人物的高质量Lora来达到目的，但训练lora需要消耗计算资源与时间，并且本身就需要大量同一个人物的图像资源。

controlnet插件的Reference控制类型，以非常出色的表现给出了新的解决方案。reference控制类型可以在绘制图片的过程中，参考原图的角色特征。

reference有几个细分预处理器

启用controlnet后，选择reference，预处理器会自动选择reference_only，该预处理器非常强大，会参考图中的风格以及人物脸部特征，绘制图片的角色相似度非常高。比如刚刚的例子中，参数，种子保持一致，使用reference_only预处理器，上传人物图像，我们在提示词中增加一些表情元素，

比如添加smile(1 girl,smile)，介入时机设置为0，

点击生成，可以看到生成的图片角色基本还原了原角色特征。

我们也可以比较一下和图生图的差别，我们使用图生图，添加参考图，然后提示词也填入1 girl,smile,  点击生成，可以看到绘制的新的图片角色其实和原图有较大差别，已经可以明显看出不是同一个人了。即使我们固定随机种子，生成的图片和原角色仍然有较大差别，看不出来是同一个人物。

又比如如果使用reference_only, 我们可以增加一个耳环

使用提示词1 girl, ear pendants，种子值设置为-1

可以看到人物的角度虽然发生了变化，但是和原图的人物角色相似度仍然比较高。

Reference_only虽然不如使用人物lora输出那么稳定，但仍然是一个非常优秀的人物一致性出图解决方案。

另外，除了人物，reference_only在动物特征一致性上也有着非常好的表现。

Reference_only是使用较多的预处理器，reference控制类型还有另外两个细分预处理器

这里是使用这几个预处理器生成图片的对比

Reference adain，采用了自适应 规范，但是该预处理器会更偏向于使用的模型，所以结果可能偏离参考图

Reference adain+attn，比Reference adain在人物一致性上处理得更好，绘制的图片人物相似度也更高

三：NormalMap

我们继续讲解另外一个控制类型-normalmap，normalmap提供了基于法线贴图的图像控制方式。对于法线贴图，熟悉渲染的同学可能经常遇到，他主要通过使用深度以及表面变形的方式为模型添加凹凸的立体效果，

上传一张参考图，使用normalmap控制类型，点击预览，normalmap预处理器会根据一定算法计算生成图像的法线贴图，

然后根据法线贴图控制图像的生成过程。

normalmap有两个细分预处理器

normal_bae和normal_midas,两者的区别就是使用了不同的算法。我们可以对比一下两者的区别《ppt图片》

normal_bae 法线贴图倾向于背景和前景整体渲染，他能更好地还原图片中的整体风格

normal_midas 法线贴图则适合将主体与背景分离开，生成的图片中，背景和某些元素可能会被抹除。

normal_midas提供了Normal Background Threshold选项用于调整背景分离程度，

我们可以对比一下不同取值提起的信息，可以看到，该值越低，背景信息保留得越多，越高，背景信息则保留得越少

好了，本节课的课程到这里就结束了，我们做一下总结。本节课程我们主要讲述了shuffle、reference和normalmap这三个与风格约束相关的控制类型，这些控制类型可以基于参考图片的颜色，角色，光影等特征，控制图片的绘制。下节课程我们将继续讲述几个重要的控制类型，比如可用于图片高清修复的tile控制类型，可以给老照片上色的recolor控制类型等等，这些控制类型提供了很多有价值的图像控制思路，也是controlnet控制体系的重要组成部分。