张阿姨也能看懂的Controlnet简明教程(Stable Diffusion最强插件)

『SD』ControlNet基础讲解 theme: smartblue 点赞 + 关注 + 收藏 = 学会了 本文简介 在学习和使用『Stable Diffusion』的过程中,『ControlNet』是一个不可忽视的关键组件。『ControlNet』是一个用于增强图像生成过程可控性的强大工具,允许用户通过提供特定的控制图像来精确指导生成结果。本文将讲解 『ControlNet』的基本概念。 安装 ControlNet ... 阅读详情

Ai绘画目前可控性不强是一个共识,绝大部分工具甚至连人物姿势都无法控制,所以每次绘画都是一次开盲盒过程,在这种情况下,很难应用到实际工作中去,很多时候几乎就是一个玩具。

Controlnet的出现,改变了这种局面。它是StableDiffusion(简称SD)一个至今最为强大的插件,作者叫张吕敏,是一名正在美国读博的年轻中国人,就是下面这个小伙子。

图片

这个插件一经发布,在Ai绘画领域一夜之间风靡世界。

Controlnet通过额外的输入来控制Ai绘画效果,也就是说,绘画师画出的Ai女友,终于可以按照自己的设想摆出各种姿势,画出的房子等事物,终于可以控制在某个设想范围之内,也有网友借助它的强大控制能力开发出新的插件,使SD已经可以完成视频制作,完成重大跨越。

可以说Controlnet的出现,是Ai绘画进入生产环节的重要标志。

Controlnet直接在SD的Webui界面中使用,需要了解的地方不少,单是它本身可携带的模型数量,目前就高达14个,而且迭代也快,需要时常更新知识才可跟上步伐。对初学者来说,是不是感觉有些头大?

实际上,它的模型使用方式大同小异,可以一通多通,学会两三个典型用法之后,其它模型大多不在话下。网络上有很多详细教程,动不动是万字长文,读起来非常费劲,今天的这篇文章,尝试从一个初学者的角度去简化一下。

一、Controlnet能干啥

使用这个插件首先要了解的是:它主要能干什么事情。只有先搞清楚这一点,才知道什么时候需要用它。

我在下表尝试去总结一下它的常见能力。必须强调的是,表格中只列出Controlnet能力的一部分,而且为了便于理解而添加的备注,虽然不会离题,但也并非总能完整地涵盖这些模型的所有能力。

图片

作为初学者,了解掌握这些已是一个很好的开端。而且,每一种能力都会有不同的应用,需要在实践中去尝试和灵活运用。

二、Controlnet有哪些常用模型

了解了Controlnet的常见能力,你就可以知道自己要的效果能不能通过它来控制实现。上述常见能力,都可以在Controlnet中找到具体的对应模型,对号入座即可。

图片

在这里需要强调一下(敲黑板),Controlnet的使用,在选择模型之前,一般需要先选择对应的“预处理器 ”,这两者几乎都是“双宿双栖”的。

预处理器的名字前缀,和模型的核心名称是一致的,例如,目前openpose模型对应的预处理器分别有:openpose_face(脸部)、openpose_full(整体)等几种,可根据具体绘画目标来选择。

另一个重点是(再敲一次黑板),Controlnet的使用一般需要给出参考图(我的定义),引导算法按照参考图来作画。如果你给的图已经是骨骼姿态图/语义分割图(下面会讲),则预处理一栏留空,只需选择对应的模型即可。这一点很多人经常忘记,出来的图有时候会变得很奇怪。

三、Controlnet的使用方法

1.安装

在SD的Webui界面中,在“扩展”标签下输入这个地址安装重启即可。

https://github.com/lllyasviel/ControlNet-v1-1-nightly

图片

也可以点击上图“可用”标签后在列表中找到它,点击安装。实际上,如果你用的是整合包,基本会自带这个插件。安装成功后,因为它有14个可用模型,需要你自行下载,下载地址在抱脸网站:

https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

需要指出的是,这些模型中,名字带有V11P的是稳定版本,可放心使用。如下图框中的文件:

图片

这些文件,只需要下载1.45G体积的那个即可,设置文件在使用时自动下载匹配。

2.Controlnet基础设置

先看界面(Controlnet版本V1.1.220),主要包括4个区域:

图片

/****/ 区域1

上传图像区,我在上面将这个图定义为“参考图”,也就是说,这张图是让Controlnet去结合具体的模型,引导控制图片的生成。

例如,你在这里上传了一张人物骨骼图(下图左),选择openpose模型,最终输出了右图结果,复刻了骨骼图的姿势。

图片

/****/ 区域2

要使Controlnet工作,必须在这个区域勾选“启用”插件,第二项低显存优化很容易理解,但勾选可能会损失一些效果。第三项建议勾选,免去再设置一次图片尺寸,第四项是预览项,可选可不选。

/****/ 区域3

Control Type控制类型。选择任一种控制类型,下面对应的是细分的预处理器和模型设置。

其中,模型选项是必选的。前者多数时候要选,但一些时候并非必选,前文已有说明。

该区域下面的三项:

图片

后面两项一般情况下保留默认值即可。

/****/ 区域4

Control
Mode,这三项的意思分别是:平衡、描述词更重要、Controlnet更重要。需要依据输出的图片结果来调整选择,一般默认“平衡”项。后两项也很容易理解,意思是希望绘画更偏重接近描述词还是Controlnet控制。

下面是页面缩放选项,一般默认中间项:裁剪和调整大小

3.描述词和绘图参数设置

设置好Controlnet后,还需输入你要生成的画面的正面描述和反面描述词,以及设置采样方法、步数、尺寸等,这个模块的具体设置,可参考我之前写的文章。Stable
Diffusion新手快速入门教程

1

四、Controlnet的使用案例

讲3个例子:姿势控制、线稿上色、语义分割。

/****/ 姿势控制

➀上传一张参考人物姿势图(下图左边橙色衣服女人)。

➁选择预处理器和处理模型:openpose_full、openpose,点击预览(红色火花图标)后,可看到人物姿势转为骨骼图(下图右上):

图片

➂选择真人绘画模型,输入绘画正反向描述词,设置参数后生成图片,生成结果如下图(右)

图片

/****/ 线稿上色

➀上传线稿参考图(下图左上)

➁选择预处理器和处理模型(均为canny,如图,右上为处理预览)

图片

➂选择动漫类大模型,输入描述词及设置生成参数后,生成图片,结果如下图:

图片

/****/ 语义分割

➀上传一张建筑物参考图

➁选择预处理器和处理模型后生成预览(右上,语义分割图),如下:

图片

➂选择适合的大模型,输入描述词及设置生成参数后生成图片,结果如下图:

图片

这里说多一句,在需要高度自定义画面的时候,例如你想设计一个房子的外观,可以自己画出语义分割图后,让SD去生成,可迅速获得大量初步效果图,但要注意的是,语义分割图中的不同颜色,代表的意思并不一样,需要严格控制精确的颜色值。

我这里也有一张精确颜色对照表,类似下图,向本公众号发送“语义分割”四字可取。

图片

以上用法,适合Controlnet的多数模型,思路基本一致。当然,它的能力远不止如此,本文只介绍了一些基础知识,回头有空再写一篇进阶教程。

Controlnet的官方中文说明文档,点击本文左下“阅读原文”可达(需科学上网)。

最后提供1个Controlnet输出复杂场景的例子:水浒的风雪山神庙插画(作者@blade2019runner),大家感受一下。

制作底图:

图片

输出结果图:

图片

但由于AIGC刚刚爆火,网上相关内容的文章博客五花八门、良莠不齐。要么杂乱、零散、碎片化,看着看着就衔接不上了,要么内容质量太浅,学不到干货。

这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》,相信大家会对AIGC有着更深入、更系统的理解。

有需要的朋友,可以长按下方二维码,免费领取!

AIGC所有方向的学习路线思维导图

这里为大家提供了总的路线图。它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去,那么我的使命也就完成了:
在这里插入图片描述

AIGC工具库

AIGC工具库是一个利用人工智能技术来生成应用程序的代码和内容的工具集合,通过使用AIGC工具库,能更加快速,准确的辅助我们学习AIGC
在这里插入图片描述

有需要的朋友,可以点击下方卡片免费领取!

精品AIGC学习书籍手册

书籍阅读永不过时,阅读AIGC经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验,结合自身案例融会贯通。

在这里插入图片描述

AI绘画视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,科学有趣才能更方便的学习下去。

在这里插入图片描述

有需要的朋友,可以长按下方二维码,免费领取!

ControlNet引导生成图像的详细教程 controlnet引导stable diffusion生成图像使用教程,边缘检测、深度估计、涂鸦、分割等 阅读详情

相关推荐

混元图像3.0一句话P图技术原理与实操指南

AI图像编辑正从‘能生成’迈向‘敢交付’的关键阶段。‘一句话P图’并非简单文生图,而是融合多模态语义理解、可控生成建模与端侧推理优化的系统性突破。其核心在于将自然语言指令精准解耦为空间定位、属性保留、光照对齐等可计算任务,通过意图解析层识别用户潜台词,可控生成层固化高频操作原子模块,端侧优化层实现全平台亚秒级响应。该技术显著降低修图门槛,适用于电商运营、营销设计、人像精修等强时效性场景,让语义精准控制和端到端可用性成为AI视觉生产力的新基线。

dielucui7698的博客 507

使用ControlNet 控制 Stable Diffusion

来源:DeepHub IMBA 本文约1500字,建议阅读6分钟本文将要介绍整合HuggingFace的diffusers 包和ControlNet调节生成文本到图像,可以更好地控制文本到图像的生成。ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。它提供了一种增强稳定扩散的方法,在文本到图像生成过程中使用条件输入,如涂鸦、边缘映射、分割映射、pose关键点等。可以让生成的图...

数据派THU 1万+

SplitFilling:CVPR 2021中的“用户指导的带有分割填充机制的艺术线条平面填充”

拆分填充 用户指导的艺术作品,采用分装式灌装机构进行平面灌装 经过 张吕敏(苏州大学/ Style2Paints Research),李成泽(香港中文大学),埃德加西莫塞拉(早稻田大学),易吉(苏州大学),黄天钦(香港中文大学),刘春平(苏州大学计算机科学与技术学院)。 在 2021年IEEE / CVF计算机视觉和模式识别会议(CVPR) 快来了。

Stable Diffusion学习指南【ControlNet上篇】- 功能介绍、安装和使用

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

2401_85116933的博客 4088

详解APM的开方控制器sqrt_controller

前言 前面说过,sqrt_controller是对P项进行整定用途的,目的就是让P项的控制响应“软”下来,实际上就是一个经过改进的P控制器。读懂了sqrt_controller,那么你对APM的P控制器就了解得差不多了。 仅讨论P控制器,sqrt_controller的作用就是设定一个量linear_dist,以这个量的正负值为分界线划分出一个线性区域范围,在这个范围内表示误差量还很小,遵循Kp*error计算方式输出控制量。 超过linear_dist后,表明误差较大,此时不能由着误差单纯按照线性方式乘以

moumde的博客 4897

Tinder养号防封攻略来了:最新Tinder养号流程和运营攻略

今天,我就来给大家分享一下Tinder养号的具体操作,以及针对Tinder账号被封的一些常见问题为大家做个答疑。

m0_67768117的博客 2万+

AI图像工具怎么选?按需求匹配而非盲目追求画质

AI图像生成已从单纯的概念验证进入工程化应用阶段,其核心不再只是‘能否生成’,而是‘能否稳定、可控、高效地服务于具体任务’。理解生成模型的基本原理(如扩散机制、提示词权重分配、ControlNet控制逻辑)是合理选型的前提;技术价值体现在对时间成本、控制精度与工作流兼容性的综合优化;典型应用场景覆盖运营配图、设计延展、IP开发及私有化部署等多元需求。尤其在中文语境下,工具对本土化提示词的理解能力、免登录即用性、风格标签直给等细节,往往比参数指标更具实操意义。本文聚焦四类真实需求场景,解析通义万相、Stabl

weixin_42523543的博客 265

二、ROS2完成Docker容器和宿主机通信,使用ros2 topic list看到,但是无法echo

如果容器和主机权限不一致,则会导致无法通信(我的代码中,docker容器是root,宿主机是普通用户),虽然可以查询到相关话题,但是订阅后没有消息输出。比如,docker容器创建了一个共享内存,其所有者为docker容器用户root,当宿主机去访问的时候,由于用户不同,没有权限访问,也就无法进行信息传递。该方法只是临时修改共享内存的权限,每次运行完,需要重新运行上述命令,才可以进行通信。在运行的过程中,ROS2使用了共享内存机制,会共享内存。运行之后,宿主机和容器可能用户名不同,这是因为。

qq_43280851的博客 1265

我奶都能看懂的Controlnet简明教程(AI绘画Stable Diffusion最强插件)

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

白帽阿叁的博客 1万+

CLIP-Count代码配置以及踩坑记录

CLIP-Count代码配置以及踩坑记录

学术菜鸡 1012

c#.net使用正则表达式验证文本中是否包含手机号码或电话号码?

using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Text.RegularExpressions; using System.Collections; namespace RegularPhoneApp { class Program

码农 3586

ControlNet

 <img src="file:///C:/DOCUME~1/ffwen.AP/LOCALS~1/Temp/msohtmlclip1/01/clip_image001.gif" alt="Text Box: “采用ControlNet的道理人们已经论证过多次,系统也被证实可靠、容易使用。在整个系统中,关于工艺或者单个马达、驱动器或者控制元件的详细的信息都可以得到,不论是在中控室,还是在现场任何

FredTaishan的专栏 6391

VS2022命令行编译C++报错?一招解决‘fatal error C1034: iostream: 不包括路径集‘

本文针对VS2022命令行编译C++时常见的'fatal error C1034: iostream: 不包括路径集'错误,深入剖析了其根源在于环境变量缺失。文章提供了永久配置用户环境变量(PATH、INCLUDE、LIB)的一劳永逸解决方案,确保在任何终端中都能直接使用cl命令进行编译,并给出了进阶配置与常见错误排查指南。

weixin_29011667的博客 305

太实用了!关于ControlNet,这篇你一定要看

这里是行者AI,我们专注于人工智能在游戏领域的研究和应用,凭借自研算法,推出游戏AI、智能内容审核、数据平台等产品服务。controlNet控制生成anypaint看到这篇文章的你,一定也是AI绘画的爱好者吧。我们有一款可以上手入门,也可以满足的AI美术在线学习工具。在线生图,无需硬件和部署。anypaint功能包括。不论你是初学者还是专业人士,都能在图刷刷中找到适合自己的绘图方式和独特风格,为你的创意提供无限可能。入股绝对不亏。的出现代表着 AI 生成开始进入真正。

m0_67912929的博客 3113

【工业相机】【深度4】线扫描相机 - 选型实践

前言: 在工业相机的深度应用的前三节里面,针对工业相机的选型、参数、应用计算等做了一些说明。期中,在深度3里面,在说明工业相机在速度场景下的应用的时候,专门开了一节介绍线扫描相机行频速度的计算公式和镜头的选型的大致说明,感觉说的还是不够透彻,切应用举例也不充分,这里特别开一个章节,基于线扫描相机的特点对比面阵相机的特点进行比较详细的说明,尤其对线扫描相机的选型实践,尤其是线扫描相机的分辨率选择计算、行频选择计算进行了充分的说明和计算说明,希望能够给用到线扫描工业相机的同学给予一定的参考: 阐述: 在编

山云的专栏 2万+

AI Agent在智能餐饮管理中的实践

本文章的主要目的是详细探讨AI Agent在智能餐饮管理中的实际应用。随着人工智能技术的飞速发展,餐饮行业也在积极寻求智能化转型,AI Agent作为一种具有自主决策和执行能力的智能体,为餐饮管理带来了新的机遇和解决方案。本文将涵盖AI Agent在餐饮管理各个环节的应用,包括订单管理、库存管理、员工调度、客户服务等方面,旨在为餐饮企业和相关技术人员提供全面的技术指导和实践参考。本文将按照以下结构进行阐述:首先介绍核心概念与联系,明确AI Agent和智能餐饮管理的定义和相互关系;

AGI×大数据,开启智能时代的认知跃迁;解码AGI,赋能数据驱动的智能革命。 1285

面向小白的ControlNet全面教学!全网最全使用指南!(下)

七、语义分割Seg八、重绘Inpaint九、线稿检测Lineart十、动漫线稿检测Lineart anime十一、人物姿势检测Openpose十二、涂鸦Scribble十三、软边缘检测Softedge十四、随机洗牌Shuffle十五、自适应Ip2p十六、分块重采样Tile十七、仅参考Reference only7“Seg” 是 “Semantic Segmentation”(语义分割)的简称,它是计算机视觉领域的一项任务。其目标是将图像中的每个像素标记为不同的语义类别区域。

weixin_55154866的博客 1148

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

Stable Diffusion 插件 Controlnet 安装使用教程(图像精准控制)

Stable Diffusion WebUI 的绘画插件 Controlnet 最近更新了 V1.1 版本,发布了 14 个优化模型,并新增了多个预处理器,让它的功能比之前更加好用了,最近几天又连续更新了 3 个新 Reference 预处理器,可以直接根据图像生产风格类似的变体。

m0_74942241的博客 1万+

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

【关键】SD最重要插件ControlNet详解-重中之重

controlnet插件,包括预处理器和模型两部分,预处理器相当于图纸,模型相当于施工方法,有了图纸,还得选择对应的施工方法,以前内置的controlnet只有左边的预处理器,右边模型是空的,还得下载,现在新的版本把模型也内置了,省去下载的麻烦。在生图的参数部分,我们已经设置了想要生成图片的尺寸大小,如果controlnet的参考图片尺寸与设置出图的尺寸不一致,那参考图片将会丢失一些数据,或压缩画面,这时候点击一下这个按钮,将参考图片尺寸同步到上面设置的出图尺寸,出出来的图才能更完整。

阿道夫的博客 4546

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

ControlNet 简介

它的核心思想是:在生成模型的基础上,添加一个可控的分支网络(ControlNet),通过条件输入(Condition Input)引导生成过程,从而实现对生成结果的更高控制。ControlNet 的核心是将条件输入(如边缘图、深度图等)与扩散模型结合,使得生成过程能够遵循用户提供的条件。)的技术,允许用户通过额外的条件输入(如边缘图、深度图、姿态图等)来精确控制生成图像的内容和结构。是一种扩展深度学习生成模型(如。

diudiumama的博客 2213
上一篇: 在本地跑一个AI模型(6) - Stable Diffusion模型微调
下一篇: 这份 Stable diffusion 提示词攻略,记得收好了!
不秃头de程序猿
博客等级 码龄5年 4091粉丝 1479原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值