ControlNet有哪些惊为天人的使用方式?

ControlNet 有很多使用方式,比如修复老照片,可以使用 [Recolor]控制类型。Recolor 需要额外下载模型
模型网站下载地址:https://huggingface.co/lllyasviel/sd_control_collection/tree/main模型网站进来以后选择我们需要的模型「ioclab_sd15_recolor.safetensors」,点击下载按钮进行下载。img模型下载完成以后,把模型放到 SD 的指定目录文件夹下:\sd-webui-aki-v4.1\models\ControlNetimg然后我们上传一张需要上色的黑白老照片,点击启用和完美像素模式,点击控制类型 Recolor,如果模型没有加载进来,记得点下模型旁边的刷新按钮。预处理器有两种,小伙伴们都可以试试。img然后我们选择一个真人大模型,如果只是上色,提示词可以不用写,直接点击生成就可以完成上色了,当然我们也可以在提示词上指定我们想要修复的颜色。以下就是黑白老照片修复的彩色照片了,分别使用了 Recolor 的两种预处理器,小伙伴们可以看下效果。对于退色的老照片而言,又重换新生了有么有?imgRecolor 除了可以给黑白照片上色以外,还可以在不改变人物的前提下给人物重新上色。第一张是我们的原图,其他三张是在原图的基础上修改提示词中的颜色而生成的。多变的风格一下就是出来了有么有!img还有 IP-Adapter 控制类型,让 SD 也能拥有垫图功能需要下载 IP-Adapter 的模型,可以去 huggingface下载
模型网站下载地址:https://huggingface.co/lllyasviel/sd_control_collection/tree/mainimg下载好的模型放入以下目录:\sd-webui-aki-v4.1\models\ControlNetimg更新成功以后,就可以看到 IP-Adapter 了,我们选择 sd15 的预处理,点击爆炸按钮会自动下载预处理器。img如果下载报错的话,网盘中听雨已经给小伙伴们下好了。img复制到以下目录就可以了。\sd-webui-aki-v4.1\extensions\sd-webui-controlnet\annotator\downloads\clip_vision
img接下来我们就开始正式的来看下 IP-Adapter 怎么使用。选中 IP-Adapter 控制器,一般预处理器和模型会默认加载,没加载的话,点一下模型旁边的刷新按钮,再没有的话,就需要看下模型是否放入指定目录下了。点击启用、完美像素模式、允许预览,上传我们希望复制风格的图片,点击爆炸按钮。img选择一个我们想要的大模型,听雨这里主要是演示,就不写提示了,我们直接点击生成,可以看到生成的图像和我们的原图基本是一致的。img这是 IP-Adapter 最基本的用法,它还可以配合其他的控制类型组合使用,比如和 Canny 配合使用。IP-Adapter 保留风格,Canny 保留姿势。组合生成自己想要的图片。再添加一个 ControlNet ,控制器选择 Canny,上传我们想要的人物姿势图,控制权重小于 1,听雨这里设置的是 0.8,然后我们点击生成。img可以看到风格和人物姿势融合到了一张图里了。imgIP-Adapter 还可以和 Depth 组合使用。用来尝试不同的装修风格。IP-Adapter 中上传我们想要的风格图片。imgDepth 中上传我们房间的布局图片,预处理器和模型使用 Depth 默认的就行,然后记得点爆炸按钮,控制权重设置小于 1。img最后点击生成。图一的风格完美的融入了图二的装修布局上有么有。想换什么风格换什么风格。总能找到一款我们喜欢的。img

这份完整版的SD整合包已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费

在这里插入图片描述

### ControlNet 模型类型列表 ControlNet 提供多种类型的控制模型,每种模型适用于不同的应用场景。以下是主要的 ControlNet 控制模型及其功能概述: #### 1. **Openpose** 此模型专注于捕捉和应用人物的姿态特征,包括身体姿态、手部姿态以及面部表情等。借助该模型可以依据原始图像中的姿态特点来创建新的人物形象,在保持原有外貌的同时调整其动作形态[^1]。 #### 2. **Canny 边缘检测** 利用 Canny 算法提取输入图片的轮廓线作为引导信息,使得生成的结果能够遵循特定形状或边界条件下的视觉效果[^2]。 #### 3. **Depth 图像处理** 基于深度感知技术构建三维空间关系图谱,从而让合成出来的画面更贴近真实世界的空间感与层次感。 #### 4. **Normal Map 法向贴图** 通过对表面方向变化进行编码形成法向量场,以此指导神经网络理解物体朝向并据此渲染更加逼真的材质质感。 #### 5. **Scribble 草图绘制** 接受简单的线条草稿形式的提示,帮助艺术家快速构思创意概念,并将其转化为高质量的艺术作品。 #### 6. **Segmentation 分割掩码** 提供像素级别的分类标签映射,可用于指定哪些区域应该被重点考虑或是忽略不计,进而影响最终输出的质量和风格。 #### 7. **Line Art 线条艺术** 专门针对动漫插画等领域设计的一种模式,它能很好地保留源素材中精致的手绘笔触痕迹,使生成的作品具有独特的绘画美感。 #### 8. **MLSD (Multi-Line Structure Detection) 多线结构探测** 识别复杂图案内的多层线条结构,对于建筑外观重建或者机械零件建模等方面有着广泛用途。 #### 9. **Shuffle 物体打乱重组** 允许随机交换给定场景内不同对象的位置分布情况,创造出意想不到的新颖组合方式。 #### 10. **Inpainting 缺失填补** 当部分图像数据丢失时可用来修复破损处,恢复完整的图形完整性;同时也支持自定义遮罩来进行局部修改操作。 #### 11. **Softedge 柔边效应** 模拟自然光线下阴影过渡柔和的效果,增加整体氛围的真实度和沉浸体验。 #### 12. **Color Sketch 彩色素描** 接收带有颜色指示的简单涂鸦样式指令,以便于按照预期色调范围塑造色彩斑斓的画面景象。 #### 13. **Pose Estimation 姿态估计** 虽然名称上看起来类似于 Openpose ,但实际上侧重于更高精度的人体关节定位任务,适合医学影像分析等专业领域的需求。 #### 14. **HED (Human Edge Detection) 人类边缘检测** 专为人形主体服务的一项特性,旨在突出显示人体轮廓与其他背景元素之间的界限,便于后续编辑加工过程中的精准选取。 #### 15. **Content-Aware Fill 内容感知填充** 自动推断缺失内容的最佳匹配方案,确保即使是在存在较大面积空白的情况下也能获得连贯一致的整体观感。 这些就是目前常见的几种 ControlNet 控制模型类别,各自具备独特的优势和技术亮点,可以根据实际需求选择合适的方式加以运用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值