面向小白的ControlNet全面教学!如何安装和使用ControlNet?_controlnet怎么用

AI绘画——ControlNet扩展安装教程 阅读详情

目录

一、引言

二、什么是ControlNet

三、ControlNet的安装步骤

四、ControlNet的使用步骤

五、总结

1

引言

如果你已经使用AI绘图一段时间了,那么对于生成图片的随机性肯定有所了解。由于Stable Diffusion 模型生成的图片具有极高的随机性,微小的变化,无论是在提示词 (prompt) 中添加一个关键词,还是调整生成的图片尺寸,都可能导致生成的图片产生显著的变化。这种情况下,控制图片生成的结果就像在玩一个数字游戏:随机生成一个数字,然后试图选出一个更大的数字,无法预测,也无法精确控制。

然而,ControlNet 的出现,为这个问题提供了解决方案。ControlNet 可以使你更精细地控制生成图片的各个方面,包括构图、人物姿势甚至图片色彩等,从而大幅提升了生成结果的精确性和可控性

接下来,我将详细介绍ControlNet的功能以及使用方法。

2

什么是ControlNet?

ControlNet是一种强大的SD webui插件,它通过神经网络模型来实现对生成图像的精确控制。当然,它本身的应用远不止与此,ControlNet 在许多领域中都具有广泛的应用,包括艺术创作、图像修复、虚拟场景生成等等。

在传统的图像生成任务中,我们通常使用提示词(prompt)来引导模型生成特定类型的图像。通过输入适当的提示词,我们可以约束模型生成与提示词相关的图像内容。然而,只使用提示词来引导模型生成图片仍然太过随机,而ControlNet则刚好提供了一种更精确的限制图像生成范围的方法。

ControlNet插件通过复制参考图的构图或人物姿势等多种参考图信息来辅助stable diffusion生成与参考图在某些方面非常相似的图像。它使用了预处理器模型和ControlNet****模型的组合来实现这一目标。

使用ControlNet插件辅助SD生成图片的第一步是将输入的图像进行预处理,例如转换为边缘图、深度图或人物姿势图等特定形式。预处理器模型在生成过程中起到了重要的作用,为ControlNet模型提供了合适的输入。

除了随机洗牌之外,预处理器的处理结果仅与选择的处理器类型有关,而与其它参数如提示词或图片参数等均无关。

图片

ControlNet模型是ControlNet插件的核心。第二步是它接收经过预处理的图像,并根据参考图的构图或人物姿势引导SD模型生成相似的图像。这样,我们可以通过控制参考图的选择以及配合相关的参数设置来实现更可控的图像生成。

在整个过程中,预处理器生成的图像经过ControlNet模型的处理,然后输入到stable diffusion中进行最终的图像生成。因此,通过选择合适的参考图、预处理器、ControlNet模型以及参数,我们能够获得更符合预期的图像。

3

ControlNet插件和模型的安装

下面介绍 ControlNet 的安装和更新步骤,如果你已经安装了这个插件,那么可以直接跳过第1和2节的内容。更新 ControlNet 的方法看本章的第3节内容。第4节内容介绍了预处理器模型下载报错的解决办法。

1、ControlNet 安装步骤:

① 打开sd webui,点击 extension(扩展)

② 点击 install from URL(从网址安装)

③ 在 URL for extension’s git repository (扩展的 git 仓库网址)输入:

https://github.com/Mikubill/sd-webui-controlnet

④ 点击 install(安装)

⑤ 显示安装成功后,重启 SD webui,如果安装成功,你应该可以在如下界面找到 ControlNet 插件。

图片

2、模型安装步骤:

只有 ControlNet 插件还无法正常运行,还需要另外下载搭配使用的 ControlNet 模型。

① 进入网址:

https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

② 下载 [.pth] 结尾的文件,可以全部下载,也可以按需要下载

③ 把下载的模型移动到 stable-diffusion-webui\extensions\sd-webui-controlnet\models 路径下

3、ControlNet 更新步骤

目前 ControlNet 的最新版本为V1.1.224,如果还没升级到该版本,那么按以下步骤进行升级。

① 进入 \stable-diffusion-webui\extensions\sd-webui-controlnet 路径

② 在路径框内输入 cmd,打开 cmd 面板

③ 在 cmd 内输入 git pull 即可

4、预处理器模型安装

预处理器模型一般会在你使用的时候触发自动下载,但是有时候由于网络原因经常导致下载报错,这时候就需要进行手动下载了。

① 因为下载的报错信息格式都差不多,因此只以下面报错为例

图片

② 在报错信息中已经写明了下载的地址以及需要保存的路径,因此只需要按住Ctrl键再单击红色框内的网址即可自动打开浏览器,跳转到下载地址

③ 将下载的模移动到报错信息中指定的路径下即可。

④ 另外,如果你想一次性下载所有的预处理器模型,这是所有模型的下载链接:

https://huggingface.co/lllyasviel/Annotators/tree/main

4

ControlNet 操作步骤

现在,你应该已经安装好 ControlNet 插件了,那么下面我以一个简单的例子来介绍如何使用这个插件。

我将以下面这张图片为例介绍使用 ControlNet 生成图片的具体步骤。

图片

1、txt2img界面下的设置

① 选择一个模型。你可以选择你自己喜欢的模型,在这里我是用的是 Realistic vision V2.0

图片

② 写正向提示词(prompt)和反向提示词(negative prompt)

Prompt: raw photo, 1girl, beautiful, detailed eyes, pink hair, pink dress, collarbone

Negative prompt: ugly, deformed, distorted, bad

③ 设置其它参数。在这里,图像的宽和高设置为512x512,CFG = 7,seed = -1

2、ControlNet 设置

① 点击右上角的三角形符号即可展开 ControlNet 的参数设置

图片

② 上传图片

③ 点击 Enable(启用),勾选 Pixel Perfect(完美像素模式)就不用手动设置预处理器分辨率了,当生成图片过程报显存不足的错误时勾选 Low VRAM(低显存模式)

图片

④ 选择一个 Control Type(控制类型),这里我使用的是 Depth(深度)。这里需要注意,老版本的 ControlNet 是没有控制类型这个选项的,只能直接选择预处理器和模型。另外,点击预处理器和模型中间的💥图标,可以提前预览预处理器的生成效果。实际操作过程都建议先点击💥图标,提前查看预处理效果,满意之后再进行图片生成的操作。

图片

⑤ 其它选项保持默认设置,点击生成,结果如下:

图片

⑥ 其它ControlNet的操作步骤大同小异,有差异的地方将会在分别介绍ControlNet的具体案例中再补充。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

需要的可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

ControlNet引导生成图像的详细教程 controlnet引导stable diffusion生成图像使用教程,边缘检测、深度估计、涂鸦、分割等 阅读详情

相关推荐

【2025 Stable Diffusion ControlNet插件详解】【4.ControlNet基础界面使用指南】

ControlNet的核心优势在于**“可控性”与“灵活性”的平衡**。通过合理配置控制类型、权重和引导参数,用户可以实现从线稿到成品、从姿势到场景的全流程精准控制。建议新手从单一控制类型(如Canny)入手,逐步尝试多模型叠加和动态参数调整。对于商业应用,可结合LoRA模型(如)进一步细化生成结果,实现工业化级别的AI绘图。进阶技巧混合控制类型:Canny + Depth实现结构与空间双重约束。动态权重调整:使用插件实现权重随步数变化。多模态控制。

商务合作|问题讨论|交流学习 请联系作者微信,加微信请务必注明来意,博客主页有联系方式 1091

使用ControlNet 控制 Stable Diffusion

来源:DeepHub IMBA 本文约1500字,建议阅读6分钟本文将要介绍整合HuggingFace的diffusers 包和ControlNet调节生成文本到图像,可以更好地控制文本到图像的生成。ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。它提供了一种增强稳定扩散的方法,在文本到图像生成过程中使用条件输入,如涂鸦、边缘映射、分割映射、pose关键点等。可以让生成的图...

数据派THU 1万+

win10任务栏文件夹设置成竖形列表样式

win10任务栏文件夹设置成竖形列表样式

ftzchina的博客 7086

面向小白的ControlNet全面教学!如何安装和使用ControlNet?

ControlNet是一种强大的SD webui插件,它通过神经网络模型来实现对生成图像的精确控制。当然,它本身的应用远不止与此,ControlNet 在许多领域中都具有广泛的应用,包括艺术创作、图像修复、虚拟场景生成等等。在传统的图像生成任务中,我们通常使用提示词(prompt)来引导模型生成特定类型的图像。通过输入适当的提示词,我们可以约束模型生成与提示词相关的图像内容。然而,只使用提示词来引导模型生成图片仍然太过随机,而ControlNet则刚好提供了一种更精确的限制图像生成范围的方法。

weixin_55154866的博客 3465

[Unity Demo]从零开始制作空洞骑士Hollow Knight第四集:制作更多的敌人

大家好久不见,终于放完中秋假期可以回自己家里打代码了,上一期我介绍了为什么和如何导入2D toolkit以及制作一个完整的敌人(就是那只蚊子包括了精灵,动画,状态机行为以及脚本)现在不妨趁热打铁制作更多的敌人。

dangoxiba的博客 1976

Vivado与Vscode无缝集成:高效Verilog开发环境搭建指南

本文详细介绍了如何将Vivado与Vscode无缝集成,打造高效的Verilog开发环境。通过替换Vivado默认编辑器为Vscode,配置必备插件和语法检查工具,开发者可以大幅提升FPGA项目的编码效率。文章还提供了代码片段、Testbench自动生成等高级技巧,帮助开发者快速上手这一集成方案。

weixin_33737774的博客 493

面向小白的ControlNet全面教学!如何安装和使用ControlNet?_如何安装controlnet

ControlNet是一种强大的SD webui插件,它通过神经网络模型来实现对生成图像的精确控制。当然,它本身的应用远不止与此,ControlNet 在许多领域中都具有广泛的应用,包括艺术创作、图像修复、虚拟场景生成等等。在传统的图像生成任务中,我们通常使用提示词(prompt)来引导模型生成特定类型的图像。通过输入适当的提示词,我们可以约束模型生成与提示词相关的图像内容。然而,只使用提示词来引导模型生成图片仍然太过随机,而ControlNet则刚好提供了一种更精确的限制图像生成范围的方法。

阿道夫的博客 1978

使用everything出现mem_virtual_alloc(): Fatal Error: out of memory解决方案

本文主要介绍了使用everything出现mem_virtual_alloc(): Fatal Error: out of memory解决方案,希望能对使用everything的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 1万+

面向小白的ControlNet全面教学!全网最全使用指南!

七、语义分割Seg八、重绘Inpaint九、线稿检测Lineart十、动漫线稿检测Lineart anime十一、人物姿势检测Openpose十二、涂鸦Scribble十三、软边缘检测Softedge十四、随机洗牌Shuffle十五、自适应Ip2p十六、分块重采样Tile十七、仅参考Reference only7“Seg” 是 “Semantic Segmentation”(语义分割)的简称,它是计算机视觉领域的一项任务。其目标是将图像中的每个像素标记为不同的语义类别区域。

z19981的博客 1270

英伟达 Jetson AGX Thor 官方入门教程(一)系统U盘安装

NVIDIA Jetson AGX Thor开发套件快速安装指南 本指南详细介绍了NVIDIA Jetson AGX Thor开发套件的安装流程。该套件搭载T5000 SoM,为物理AI和机器人应用提供强大支持。安装过程采用全新的JetPack 7.0方案,通过USB闪存盘即可完成BSP(Jetson Linux)安装,无需依赖Ubuntu主机。指南包含硬件开箱说明、两种配置模式(带显示器/无显示器)、详细的ISO镜像下载和USB制作步骤(推荐使用Balena Etcher工具),以及首次启动后的初始设置流

机器人控制与仿真应用 2874

YOLOv9改进,YOLOv9添加CBAM注意力机制

CBAM是一个简单而有效的注意力模块,用于前馈卷积神经网络。给定一个中间特征图,我们的模块按顺序推断两个独立维度(通道和空间)的注意力图,然后将注意力图乘以输入特征图以进行自适应特征细化。由于 CBAM 是一个轻量级的通用模块,因此它可以无缝集成到任何 CNN 架构中,开销可以忽略不计,并且可以与基础 CNN 一起进行端到端训练。论文链接:(CBAM论文)

在职AI算法工程师,擅长计算机视觉,YOLO目标检测、分割等,擅长web、pyqt界面可视化,好内容持续更新中,来这里跟大家一起学习,共同进步 860

面向小白的ControlNet全面教学!全网最全使用指南!(上)

由于内容较多,将会分两期进行讲解。2。

m0_64365896的博客 4254

三极管电平转换电路

摘要:本文介绍了三种基于三极管的电平转换电路方案。第一种采用双NPN三极管实现3.3V转5V反相电平转换;第二种使用单NPN三极管完成5V转3.3V同相转换;第三种利用单PNP三极管实现3.3V转5V同相转换。各方案均通过三极管的开关特性配合电阻网络实现电压域适配,具有结构简单、成本低的优点,适用于不同逻辑电平设备(如MCU与外设)间的信号兼容传输。文中详细分析了各电路的工作原理、元件作用和特性,并通过Multisim仿真验证了其功能有效性。

XU157303764的博客 1861

面向小白的ControlNet全面教学!全网最全使用指南!(下)

七、语义分割Seg八、重绘Inpaint九、线稿检测Lineart十、动漫线稿检测Lineart anime十一、人物姿势检测Openpose十二、涂鸦Scribble十三、软边缘检测Softedge十四、随机洗牌Shuffle十五、自适应Ip2p十六、分块重采样Tile十七、仅参考Reference only7“Seg” 是 “Semantic Segmentation”(语义分割)的简称,它是计算机视觉领域的一项任务。其目标是将图像中的每个像素标记为不同的语义类别区域。

weixin_55154866的博客 1150

视觉Transformer实战 | Token-to-Token Vision Transformer(T2T-ViT)详解与实现

Vision Transformer (ViT) 在计算机视觉领域取得了巨大成功,但标准的 ViT 存在一些局限性,如需要大规模预训练数据、对局部结构建模不足等。Token-to-Token ViT (T2T-ViT) 通过引入渐进式分词过程改进了原始 ViT,使其能够在中小型数据集上取得更好的性能。本节将详细介绍 T2T-ViT 的技术原理,并使用 PyTorch 从零开始实现 T2T-ViT。

盼小辉丶的博客 4万+

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

上一篇: 【stable diffusion模型】2025最新stable diffusion模型合集,出图效率倍增!
下一篇: AI绘图StableDiffusion最棒LoRA模型盘点 - 小样也能出奇迹_stable diffusion lora模型
壹只小小码农
博客等级 码龄5年 8105粉丝 1333原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值