九）Stable Diffussion使用教程：ControlNet

已于 2023-09-10 17:18:20 修改
阅读量301 收藏
点赞数
分类专栏： AIGC教程 文章标签： 人工智能 AI作画
于 2023-09-10 17:13:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jimson_zhu/article/details/132792220
版权
ControlNet为AI绘图提供了稳定的控制能力，解决了扩散模型随机性带来的问题，允许用户通过线稿定义构图、姿势和轮廓，提升产业化应用效率。本文将介绍ControlNet的安装和基本使用方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在 ControlNet 出现之前，基于扩散模型的 AI 绘画是极难控制的，因为扩散的过程充满了随机性。

如果只是纯粹自娱自乐，这种随机性并不会带来多大困扰；

但在产业化上应用就难以普及了，因为随机性直接导致的就是缺乏稳定性，每次出图都要依赖不断抽卡，极大影响了工作效率。

然而 ControlNet 赋予了我们自由组织画面内容的能力：固定构图、定义姿势、描绘轮廓，单凭线稿就能生成一张丰满精致的插画，甚至有人用它画出了二维码…

ControlNet 的出现使得对 AI 绘画的完全控制成为现实。

1、安装

1）选择扩展，点击加载插件：

2）找到ControlNet插件，安装：

3）安装重启UI之后，就可以在界面下方看到ControlNe

了解本专栏 订阅专栏 解锁全文
四）Stable Diffussion使用教程：图生图
jimson_zhu的博客
09-09 1021
我们可以看到，SD的界面第二项就是图生图了，与文生图一样的是此模式下也可以输入正面提示词和负面提示词，然后提示词下面就是图片加载框，即我们选择拿来图生图的地方，右面的话不必多说，也是图片输出结果框。然后点击生成，结果生成了Q版的图片结果（虽然质量不是太理想，后面我们学习高清修复、ControlNet和Lora等知识模块的时候再来提高图片质量）。经过上面的例子，我们对图生图有了初步的认识，后面我们还会继续结合ControlNet、Lora等模块对图生图、文生图进行进一步的讲解。这一篇来说说图生图。
八）Stable Diffussion使用教程：MultiDiffusion
jimson_zhu的博客
09-10 741
重叠区默认是分块宽高的一半，即不超过 80（除非出现明显的接缝再适当增加）。这样有个好处是，每次绘制小区块时，至少有一半的区域已经绘制完成了，剩下的未绘制区域会参考已绘制区域进行绘制，确保放大后的内容在绘制时会有所关联。我们来看出图结果，可以看出，启用diffusion和vae之后，出图效果确实提升很多，画面变得清晰细腻不少，花瓣和人物细节都丰富了。重叠区越大，绘制块数会增加、绘制速度越慢、但放大后的边界越平滑。Tiled 在绘制区块的时候，并不是每次移动一个完整区块的距离的，而是仅仅移动重叠像素的距离。
生成式AI工具Stable Diffusion VS Midjourney， 哪一款更适合建筑行业？看这篇就够了！
Android 开发架构
11-26 1113
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。Diffusion的操作方式相对复杂，所以出图效果会与熟练度成正反馈的关系，当深入学习一段时间后，可产出十分精致好看的图片，而刚刚入门时出图不尽如人意的概率较大。AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。Diffusion的部署门槛。
【stable diffusion】保姆级入门课程-Stable diffusion（SD）介绍与安装
A2421417624的博客
04-16 823
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
Stable Diffusion教程丨姥姥看了都会的Controlnet插件功能教程
qq_41314882的博客
08-15 888
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
AI绘画Stable Diffussion 实操教程： 真人图片秒变动漫风，亲手绘制你的专属动漫头像
A13531922962的博客
06-24 1万+
大家好，我是向阳。你是否曾幻想过自己置身于动漫世界，拥有那些令人羡慕的二次元特征？随着人工智能技术的飞速发展，这一幻想已不再遥不可及。在本文中，我们将一起揭开Stable Diffusion技术的神秘面纱，探索如何利用这一技术将你的真实照片转换成充满魅力的动漫形象。我们将一步步引导你完成这个充满创意的过程。让我们一起开启这场视觉与想象的奇幻之旅吧！
十一）Stable Diffussion使用教程：人物三视图
jimson_zhu的博客
09-10 1128
2）然后选择触发三视图的Lora：，注意这里的名称都是本地重新命名的，非原来C站下载时候的名字；到此基本上算已经实现了既定目标了，但是，图片不够清晰，分辨率不高，我们之前学习的几种高清修复、缩放的方法现在就可以用上了！4）输入关键词：chibi（手办风，Q版人物），three views（或者multiple views，即多视图）。并不是我们想要的三视图结果，只是多画了几个人物而已，我们下面继续调整。
Stable Diffusion基础：ControlNet之图片高仿效果
程序员，AI探索者
08-14 2152
今天继续给大家分享AI绘画中 ControlNet 的强大功能，本次的主角是 Reference，它可以将参照图片的风格迁移到新生成的图片中，这句话理解起来很困难，我们将通过几个实例来加深体会，比如照片转二次元风格、名画改造、AI减肥成功图片制作、绘本小故事等等。还有之前看很多文章说，Reference 可以一定程度上代替Lora，真的是这样吗？今天也来一探究竟。
Stable Diffusion — ControlNet 超详细讲解
热门推荐
略懂……略懂……
09-07 6万+
ControlNet 是一个控制预训练图像扩散模型（例如 Stable Diffusion）的神经网络。它允许输入调节图像，然后使用该调节图像来操控图像生成。本文为大家深入剖析 ControlNet 的工作原理。
Stable Diffusion教程 从入门到精通（下载地址）附安装包+安装文档.txt
07-19
1、Stable Diffusion保姆级安装教程 知识点：如何在goolge云端Colab安装Stable Diffusion以及使用Stable Diffusion的中文语言包汉化.mp4 20、报错修复！关于Stable Diffusion 腾讯云安装部署一键安装脚本近期出现...
【大模型:知识图谱】--3.py2neo连接图数据库neo4j
最新发布
我是个好人呀，????
06-03 990
本文介绍了Neo4j图数据库的安装与基本操作。主要内容包括：1) 使用py2neo连接Neo4j数据库；2) 通过Python实现节点创建、删除、属性修改等操作；3) 建立节点间关系的方法；4) 使用NodeMatcher和RelationshipMatcher进行节点和关系查询；5) 通过实例演示如何创建人物节点及其关系网络。文章还对比了Neo4j社区版和企业版的差异。全文提供了完整的代码示例，涵盖从连接到CRUD操作的完整流程。
当无人驾驶遇见无声天使，让AI司机与爱相伴“童”行
UISEE2031的博客
06-01 611
在中关村房山园内，驭势科技多款无人驾驶车辆整齐列队，没有普通汽车的轰鸣，这些AI司机用闪烁的灯光和显示着“无人驾驶”字样的屏幕迎接孩子们的到来。在AI的帮助下，TA们对于未来无人驾驶车的描述变成了一个个具象的画面，孩子们纷纷合影留念，想要定格心中梦想的种子。
3步在小米13手机跑DeepSeek R1
羊仔的博客
06-03 793
大家好！我是羊仔，专注AI工具、智能体、编程。
OpenCV CUDA模块直方图计算------在 GPU 上计算输入图像的直方图（histogram）函数histEven()
jndingxin的专栏
05-29 1489
该函数用于在 GPU 上计算输入图像的直方图（histogram）。它将像素值区间均匀划分为若干个 bin（桶），并统计每个 bin 中像素的数量。
大模型分布式训练笔记(基于accelerate+deepspeed分布式训练解决方案)
谢白羽
06-03 979
背景介绍海量的训练数据给大模型训练带来了海量的计算需求，主要体现在变大的模型对显存的依赖逐渐加剧单卡场景如何解决显存问题1 ）可训练参数量降低①参数高效微调--PEFT②prompt-Tuning、Prefix-Tuning、Lora等 2 ）参数精度降低①低精度模型训练--Bitsandbytes②半精度、INT8、NF4分布式训练简介指的是系统或计算任务被分布到多个独立的节点或计算资源上进行处理，而不是集中在单个节点或计算机上。
Sentiment analysis integrating LangGraph and large-scale conceptual models
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
05-31 1537
基础单元：句子/评论/文档（如图中4条手机评论）。扩展单元：实体（如“相机”、“电池”）。关系类型构建规则示例实体共现两节点提及相同实体评论A和B都讨论“电池”语义相似概念向量余弦相似度 > 阈值两条夸“拍照效果”的评论句法依赖基于依存解析的语法关系评论中“电池”修饰“续航”工具NetworkX或PyG（Python库）。
【2025年5月】AI生产力再探再报：各家智能体持续内卷，前沿应用不断细分
Seon_Pan的记录库
06-02 1328
扣子空间、纳米AI超级搜索、Qwen3研究分析...6大AI比拼；MCPo、A2A...智能体框架再上一层楼！
用python与pyqt5写一个自己的ai智能小助手
zouxun660的博客
06-03 237
用python与pyqt5写一个自己的ai智能小助手
【第4章 图像与视频】4.6 结合剪辑区域来绘制图像
奋斗的小猪
05-29 2015
本节将综合运用图像处理、离屏 canvas 以及剪辑区域等技术实现墨镜效果。
Stable Diffussion T2I
02-28
### Stable Diffusion 文本到图像生成概述 Stable Diffusion 是一种强大的文本到图像 (Text-to-image, T2I) 生成模型，能够依据给定的文字描述创建高质量的图片[^1]。此模型基于深度学习技术，在训练过程中学会了如何将语义信息映射至视觉表示。 #### 工作原理 核心在于扩散模型架构，它通过逐步向随机噪声中加入细节来构建最终图像。具体来说，Stable Diffusion 使用类似于 VQ-GAN 的预处理流程，先将原始高分辨率（如512x512像素）的图像压缩成较低维度的空间（例如64x64），从而简化计算复杂度并提高效率[^3]。对于条件控制部分，则采用专门设计的ControlNet模块负责提取输入条件下的特征图谱，并将其转换为目标尺寸用于指导后续合成过程。 #### 实现代码示例 下面给出一段简单的 Python 脚本来展示如何调用 Hugging Face 提供的 `diffusers` 库实现基本的文字转图片功能： ```python from diffusers import StableDiffusionPipeline import torch model_id = "CompVis/stable-diffusion-v1-4" device = "cuda" pipe = StableDiffusionPipeline.from_pretrained(model_id).to(device) prompt = "a photograph of an astronaut riding a horse on mars." image = pipe(prompt).images[0] image.save("astronaut_rides_horse.png") ``` 这段脚本会下载指定版本的 Stable Diffusion 预训练权重文件，并根据所提供的提示词生成一张描绘宇航员骑马漫步火星表面的艺术风格照片保存下来。 #### PanFusion 扩展应用 值得注意的是，针对特定场景比如全景观光图制作方面存在的难题——即难以获得足够的配对样本以及不同视角间存在显著差异等问题，研究者们开发出了名为 PanFusion 的改进方案。该方法引入了双重路径结构配合特殊设计的跨视点注意机制(EPPA)，有效解决了上述提到的技术瓶颈，使得即使是在缺乏充分标注资料的情况下也能产出令人满意的360°环绕效果作品[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

jimson_zhu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值