那么controlNet能做什么呢？
控制人物姿势、线稿上色、恢复画质、漫改真人。等等…
🔍 controlNet的安装
“
controlNet 8.13号又迎来一次重要更新，建议大家将版本升级为v1.1.238
”
一般使用秋叶整合包的小伙伴已经默认下载了这个插件了，如果没有的话。可以到扩展中下载。
下载完成后最好重启下启动器，然后重新打开webui。在文生图和图生图的下方就可以看到我们的controlnet了
需要注意的是，controlnet并不是下载好脚本就可以使用了，还需要配套的模型。如果小伙伴们之前是从我提供的网盘中下载的话，这块是已经包括了对应的预处理器和模型。如果没有的话，可以从下面的网盘链接获取。
这里涉及两块：预处理器和模型。
预处理器的存放位置：sd目录/extensions/sd-webui-controlnet/annotator（从我网盘下载的小伙伴可以直接替换你的annotator文件夹）
模型存放位置：sd目录/models/ControlNet
需要的可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】
🚀深入controlNet中的模型
1、Canny：
Canny是 John Canny在 1986年⾸次提出的⼀种改进的边缘检测⽅法。
该⽅法主要通过图像信号函数的极⼤值来判断图像的边缘像素点，与基本的 Sobel 模板算⼦等相⽐，其具有低错误率、⾼定位性等优点，因⽽被⼴泛应⽤。
对物体的边缘检测，棱角分明，从而更大程度的还原图片.
Canny Low Threshold 和 Canny Hign Threshold:
这个值越高线条越简单，越低线条越复杂。根据实际情况使用。
使用说明（以下其它模型同理）：
- 展开 ControlNet 面板，上传参考图，勾选 Enable 启用（如果显存小于等于 4G，勾选低显存模式）。
- 预处理器选择 Canny（注意：如果上传的是已经经过预处理的线稿图片，则预处理器选择 none，不进行预处理），模型选择对应的 control_v11p_sd15_canny 模型。
- 勾选 Allow Preview 允许预览，点击预处理器旁的🎆按钮生成预览。
2、Lineart
一个专门提取线稿的模型，可以很好的提取原图中的线条。常用于线稿上色。
3、SoftEdge
较为柔和的线条提取，大概的识别图片的轮廓和细节，给sd更大的发挥空间。
4、MLSD
一般用于直线线条的提取
用于生成房间、直线条的建筑场景效果比较好。
5、Depth
一般用于含有深度估算的场景，常用于区分物体的纵深关系。更好的反应图片在空间距离上的体现。
6、Normal
一般常用于模拟3d模型，表面的细节和凹凸纹理，可以保留较为精确的角色细节。适用于人物换装。
7、OpenPose
常常用于人物姿势的控制，适用于类似电商模特换装时对于模特姿势的掌控。目前已经更新了几个版本，特别最新版本的controlnet，加上了dw_openpose。效果更好。
8、Scribble
很好玩的一个功能，可以将随便画的一些东西丢进去，结合输入的关键词来生成对应的图片，往往可能给你带来一些意外的惊喜。
9、Seg
非常适合用来处理一些元素复杂的图片，对于图片中的不同元素会识别出不同的颜色来区分。
10、Shuffle
随机洗牌，给予AI最大的自由度来进行创作，当你不知道画什么，需要创意的时候，可以使用一下它。可能会带来让人意外的惊喜。
11、Tile
我最常用的一个模型，非常强大，可以在保留原有图片的轮廓下增加更多的细节。玩法很多，比如恢复画质、涂鸦、真人转动漫、动漫转真人等等。
官网给出了一个案例，可以看到原本模糊的图片在通过tile后清楚多了。
12、Reference
注意该控制类型只有预处理器，没有对应的模型。
很神奇的一个算法，可以很好的还原原图的角色，在参考原图的情况下结合提示词来生成不同的效果。比如下图是官网给出的一个样例，在还原角色的情况下让本来坐着的小狗动了起来。
我们加上要变化的提示词：
best quality,masterpiece,4k,simple background,
a cat with glasses on it,black hat,tongue_out,kawaii,smile,
13、局部重绘
其实就是图生图的局部重绘功能，这里就不做展示了，不过实测效果有时候比图生图的局部重绘更好。
14、IP2P
其实就是图生图功能，这里就不做展示了。结合提示词使用
15、T2IA
这个模型比较特殊，我用的很少，大家可以按照需要来使用。
不同的预处理器要用到不同的模型。
它的主要功能有3个：
1、将原图的颜色进行模糊化再重新生成图片
2、参考原图风格，生成类似风格的照片
3、提取线稿，线稿上色（效果不是很好，还是推荐使用Lineart）
📒 controlNet参数详解
1. 启用（Enable）
勾选此选项后，点击 “生成” 按钮时，ControlNet 才会生效。当controlnet没有生效的时候先检查下这个参数，比较容易忽略
2. 低显存优化（Low VRAM）
低显存模式，如果你的显卡内存小于等于6GB，建议勾选此选项。当然，开启后会增加更久的时间
3. 完美像素模式（Perfect pixel mode）
显著改善分辨率不适配的问题，默认开启即可。
4. 预览预处理结果（Preview Annotator Result）
点击该按钮可以预览生成的引导图。例如：如果使用 Canny 作为预处理器，那么点击该按钮之后，可以看到一张通过 Canny 模型提取的边缘线图片。
5. 控制类型（control type）
不同的控制类型对应不同的功能和效果，往往和预处理、模型搭配起来使用
6. 预处理器（Preprocessor）
在此列表我们可选择需要的预处理器，每个 ControlNet 的预处理器都有不同的功能。
7. 模型（Model）
配套各预处理器需要的专属模型。该列表内的模型必须与预处理选项框内的名称选择一致，才能保证正确生成预期结果。如果预处理与模型不致其实也可以出图，但效果无法预料，且一般效果并不理想。
8. 权重（Weight）
权重，代表使用 ControlNet 生成图片时被应用的权重占比。根据实际情况来进行调整，没有要求的话可以维持1.0或0.8。
9. 引导介入时机（Guidance Start(T)）
在理解此功能之前，我们应该先知道生成图片的 Sampling steps 采样步数功能，步数代表生成一张图片要刷新计算多少次，Guidance Start(T) 设置为 0 即代表开始时就介入，默认为 0，设置为 0.5 时即代表 ControlNet 从 50% 步数时开始介入计算。
10. 引导退出时机（Guidance End(T)）
和引导介入时机相对应，如设置为1，则表示在100%计算完时才会退出介入也就是不退出，默认为 1，可调节范围 0-1，如设置为 0.8 时即代表从80% 步数时退出介入。
11. 缩放模式（Resize Mode）
用于选择调整图像大小的模式：默认使用（Scale to Fit (Inner Fit)）缩放至合适即可，将会自动适配图片。
一共三个选项：Just Resize，Scale to Fit (Inner Fit)，Envelope (Outer Fit)
12. 画布宽度和高度（Canvas Width 和 Canvas Height）
画布宽高设置，请注意这里的宽高，并不是指 SD 生成图片的图像宽高比。该宽高代表 ControlNet 引导时所使用的控制图像的分辨率，假如你用 SD 生成的图片是 1000x2000 分辨率，那么使用 ControlNet 引导图像时，对显存的消耗将是非常大的；我们可以将引导控制图像的分辨率设置为 500x1000 ，也就是缩放为原本图像一半的分辨率尺寸去进行引导，这有利于节省显存消耗。
13. 创建空白画布（Create Blank Canvas）
如果之前使用过 ControlNet 功能，那么将会在 ControlNet 的图像区域留有历史图片，点击该按钮可以清空之前的历史，也就是创建一张空白的画布。
14. 自动发送生成后的图像到此 unit
将生成的结果做成ControlNet输入。用于多轮次迭代。一般配合批量处理和其他第三方组件使用。默认不进行勾选。
🌏 图解不同模型的应用场景
| 模型名 | 用途 | 预处理器 | 备注 |
|---|---|---|---|
| 白底黑线反色 | invert | ||
| 面部控制 | mediapipi_face | ||
| 参考来源图片 | refrence_only | 仅参考输入图 | |
| refrence_adain | 输入图 + 自适应范例 | ||
| refrence_adain+attn | 输入图 + 自适应范例 + attention | ||
| 1.control_v11p_sd15_canny | 边缘检测 | canny | 很好识别出图像内各对象的边缘轮廓，常用于生成线稿图 |
| 2.control_v11f1p_sd15_depth | 深度检测 | depth_leres | LeReS深度检测。比 MiDaS 深度信息估算方法的成像焦点在中间景深层，这样的好处是能有更远的景深，且中距离物品边缘成像会更清晰，但近景图像的边缘会比较模糊 |
| depth_midas | MiDaS深度检测。用来控制空间距离的，类似生成一张深度图。一般用在较大纵深的风景，可以更好表示纵深的远近关系 注：有时我们也可以用于生成遮罩蒙版。 | ||
| depth_zoe | _zoe_深度检测 | ||
| 3.control_v11p_sd15s2_lineart_anime | 动漫线稿控制 | lineart_anime | 二次元风格线稿 |
| lineart_anime_denoise | 二次元风格线稿+带去噪 | ||
| 4.control_v11p_sd15_lineart | 线稿控制 | lineart_coarse | 粗略线提取 |
| lineart_realistic | 写实线提取 | ||
| lineart_standard | 标准线稿，默认选择，比较均衡的一个预处理器 | ||
| 5.control_v11p_sd15_mlsd | 直线检测 | mlsd | 直线检查，适用于建筑，室内装修图 |
| 6.control_v11p_sd15_normalbae | 法线贴图 | normal_bae | 采样bae算法，适合CG或游戏美术师 |
| normal_midas | 采样midas算法，适合CG或游戏美术师 | ||
| 7.control_v11p_sd15_openpose | 姿态控制 | openPose | 仅姿态 |
| openpose_face | 姿态 + 脸部 | ||
| openpose_faceonly | 仅脸部 | ||
| openpose_full | 姿态、手部及脸部 | ||
| openpose_hand | 姿态 + 手部 | ||
| dw_openpose_full | 新增模型，推荐使用这个，效果更佳 | ||
| 8.control_v11p_sd15_scribble | 涂鸦 | scribble_hed | 合成 |
| scribble_pidinet | 手绘 | ||
| scribble_xdog | 强化边缘 | ||
| 9.control_v11p_sd15_seg | 语义分割 | seg_ofade20k | |
| seg_ofcoco | |||
| seg_ufade20k | |||
| 10.control_v11e_sd15_shuffle | 风格洗牌转移 | shuffle | |
| 11.control_v11p_sd15_softedge | 软边缘 | softedge_hed | |
| softedge_hedsafe | |||
| softedge_pidinet | |||
| softedge_pidisafe | |||
| 12.control_v11e_sd15_ip2p | 图生图 | 预处理器选 None | |
| 13.control_v11f1e_sd15_tile | 分块采样 | ||
| 14.control_v11p_sd15_inpaint | controlnet 自带的局部重绘 | inpaint_global_harmonious |
分类与应用场景：
controlNet多单元：
controlNet是可以多个一起使用的，根据实际场景来结合不同的controlNet（每个都要点击启用才会生效哦），如果你的controlNet单元里没有展示多个的选项，需要到设置里进行配置，如下图（改完要重启webui）：
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！
感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
需要的可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了，安装就可直接上手！
三、最新AIGC学习笔记
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
这份完整版的学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】
扫一扫
4462
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
