Stable Diffusion ControlNet 安装与使用教程(附示例)

ControlNet 是 Stable Diffusion 中最强大的控制工具,能通过骨骼、边缘、景深等信息精准控制图片生成。以下是通俗易懂的安装与使用教程,新手也能轻松上手!


一、ControlNet 安装步骤

1. 安装插件

  • 方法一:通过 WebUI 直接安装

    1. 打开 Stable Diffusion WebUI,点击顶部 Extensions → Available。
    2. 点击 Load from 加载插件列表,搜索 sd-webui-controlnet。
    3. 找到插件后点击右侧 Install,安装完成后重启 WebUI。
  • 方法二:手动安装(备用)

    1. 访问 GitHub 仓库:https://github.com/Mikubill/sd-webui-controlnet
    2. 下载 ZIP 文件并解压,将文件夹复制到 stable-diffusion-webui/extensions/ 目录。
    3. 重启 WebUI。

2. 下载 ControlNet 模型

ControlNet 依赖专用模型文件(如 control_v11p_sd15_canny.pth)。

  1. 下载地址:

    • 官方模型库:HuggingFace ControlNet Models[1]
    • 选择需要的模型(推荐先下载 canny 和 openpose)。
    • 一个模型包含两个文件,一个.pth和一个.yaml
  2. 放置路径: 将下载的模型文件放到 stable-diffusion-webui/extensions/sd-webui-controlnet/models 文件夹。


3. 验证安装

重启 WebUI 后,在文生图/图生图界面底部找到 ControlNet 折叠面板,即表示安装成功!


二、ControlNet 基础使用

1. 界面介绍

  • 启用开关:勾选 Enable 开启 ControlNet。
  • 预处理器(Preprocessor):提取图片特征(如边缘、深度)。
  • 模型(Model):选择对应的控制模型(需与预处理器匹配)。
  • 权重(Weight):控制生成结果与参考图的相似度(0.5~1.5)。

2. 使用流程

  1. 上传参考图:点击画板图标上传图片,或直接拖入图片。

  2. 选择预处理和模型:

    • 例如:想控制人物姿势 → 预处理器选 openpose,模型选 control_v11p_sd15_openpose。
  3. 输入提示词:描述你想要的画面。

  4. 调整参数:权重建议从 1.0 开始,根据效果增减。

  5. 点击生成!


三、具体使用示例

示例1:固定人物姿势(OpenPose骨骼控制)

  • 目标:生成与参考图相同姿势的人物。

  • 步骤:

    1. 上传一张人物姿势图(如站立、举手)。
    2. 预处理器选 openpose,模型选 control_v11p_sd15_openpose。
    3. 输入提示词:a woman wearing red dress, elegant pose, palace background。
    4. 权重设为 1.0,生成后人物姿势会与参考图一致。

原姿势

loading

新人物生成

loading


示例2:模仿构图(Depth景深控制)

  • 目标:生成与原图相同构图的场景(如近景人物+远景山峦)。

  • 步骤:

    1. 上传构图参考图。
    2. 预处理器选 depth_midas,模型选 control_v11f1p_sd15_depth。
    3. 输入提示词:(masterpiece, best quality),detailed,arch,architecture,pillar,scenery,statue,palace,decorations,marble,indoors,European palace,church,hall,theater,celling,reflections,dappled sunlight,light rays,reflective floor,。
    4. 权重设为 1.1,生成结果会保留原图景深层次。
  • 原图

    loading

    效果图

    loading


四、常见问题解答

Q1:为什么预处理后的图片是空白的?

  • 原因:未正确选择预处理器或模型不匹配。
  • 解决:检查预处理器和模型是否对应(如 canny 预处理器需搭配 canny 模型)。

Q2:生成的图片和参考图差距太大?

  • 调整方法:

    1. 提高权重(如从 1.0 增加到 1.3)。
    2. 降低提示词的自由度(减少与参考图冲突的描述)。

Q3:模型文件应该放在哪里?

  • 路径:stable-diffusion-webui/extensions/sd-webui-controlnet/models

五、总结

ControlNet 是精准控制 Stable Diffusion 生成的终极工具。掌握以下要点即可快速上手:

  1. 安装插件 + 下载模型:确保模型文件路径正确。
  2. 预处理器与模型匹配:如 canny 配 canny,openpose 配 openpose。
  3. 权重调整:相似度不够时提高权重,过度僵硬时降低权重。

赶紧试试用 ControlNet 生成你脑海中的画面吧!

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。

二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

需要的可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费

在这里插入图片描述

1.stable diffusion安装包 (全套教程文末领取哈

随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本。

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候,往往书籍代码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入门stable diffusion,科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

在这里插入图片描述

这份完整版的学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值