（十七） Stable Diffusion 绘画入门教程（webui）-ControlNet(Shuffle）

已于 2025-03-06 10:58:00 修改
阅读量722 收藏 11
点赞数 7
CC 4.0 BY-SA版权
文章标签： stable diffusion AIGC 人工智能 ai绘画 sd教程 AI作画 插件
于 2025-03-06 10:40:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/text2203/article/details/146061857

大家好我是AIGC阿道夫

Shuffle(随机洗牌)，这个预处理器会把参考图的颜色打乱搅拌到一起，然后重新组合的方式重新生成一张图，可以想象出来这是一个整体风格控制的处理器。

那么问题来了，官方为啥会设计个这样的处理器呢，主要是给懒人用的，不想写提示词或者反推，直接拿原图进行颜色重组组合生成一个风格相近的图就可以了。

如下图，最左边为参考图，中间为搅拌融合的预处理图，最右边的是重新生成的图：

在这里插入图片描述

文章目录
  • 一、选大模型
  • 二、写提示词
  • 三、基础参数设置
  • 四、启用ControlNet

一、选大模型

这里用的最常用的anything，并没有什么特殊性
在这里插入图片描述

二、写提示词

就是为了省提示词，增加灵感才用这个处理器，提示词：a girl 😒

三、基础参数设置

基础参数设置还是和之前文章一样，长宽可以通过ControlNet中的那个回传按钮回传过来，不用手动填写

另外就是迭代步数，大家可以尝试下，稍微高一点出的图质量会好一些，如果太低可能会出现颜色未完全重组好的图，我这里用的30

在这里插入图片描述
在这里插入图片描述

四、启用ControlNet

启用ControlNet,参数和预处理器配置如下：

在这里插入图片描述

点击生成就可以了（当然，每次生成图像都是不一样的，因为颜色是随机搅拌融合重组的）

在这里插入图片描述

小提示：当想生成同类型风格图像但没有灵感时，用这个处理器批量生成是个不错的选择。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

（全套教程文末领取哈）
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】请添加图片描述
Stable Diffusion WebUI 控制网络 ControlNet 插件实现精准控图-详细教程
水滴的博客
04-17 1万+
ControlNet（控制网络）是一种先进的神经网络架构，它为基于扩散模型的 AI 绘画流程引入了精确的控制机制。通过整合额外的条件约束，ControlNet 显著增强了图像生成的可预测性和指导性。在 ControlNet 的辅助下，用户能够对生成的艺术作品进行细致入微的指导，实现对构图、色彩、风格等多维度因素的把控，从而满足各种复杂场景和个性化需求。这一技术为 AI 绘画领域带来了革命性的突破，使得 AI 绘画能够更好地满足用户的具体需求，成为一种真正的生产力工具。项目链接地址论文。
【第7章】Stable Diffusion WebUI ControlNet基础速成（安装/升级/简介/类别/功能/效果速览）
聚梦小课堂
11-06 715
Stable Diffusion ControlNet基础知识点介绍，包括：安装与升级方式、功能简介、基础实现方式、CN的5大类别、各自的功能、效果速览等。学完本章，你将对SD绘画的可控性有一个全面的认知，为创作出可控的AI作品打下基础。
Stable Diffusion 绘画入门教程（webui）-ControlNet(Shuffle）
欢迎关注免费星球ComfySpace：https://t.zsxq.com/19H0cfM1O
02-26 992
Shuffle(随机洗牌)，这个预处理器会把参考图的颜色打乱搅拌到一起，然后重新组合的方式重新生成一张图，可以想象出来这是一个整体风格控制的处理器。 那么问题来了，官方为啥会设计个这样的处理器呢，主要是给懒人用的，不想写提示词或者反推，直接拿原图进行颜色重组组合生成一个风格相近的图就可以了。
Stable-Diffusion的WebUI部署
z551646的博客
06-15 1532
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。​AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
Stable Diffusion 绘画入门教程（webui）-ControlNet(Recolor）
m0_64365896的博客
03-05 555
目前 ControlNet 已经更新到 1.1 版本，相较于 1.0 版本，ControlNet1.1 新增了更多的预处理器和模型，每种模型对应不同的采集方式，再对应不同的应用场景，每种应用场景又有不同的变空间我花了一周时间彻底把ControlNet1.1的14种模型研究了一遍，跑了一次全流程，终于将它完整下载好整理成网盘资源。其总共11 个生产就绪模型、2 个实验模型和 1 个未完成模型，现在就分享给大家，点击下方卡片免费领取。
第八：Stable Diffusion：模型插件ControlNet保姆级入门介绍
欢迎来到本博客！
10-10 715
第八：Stable Diffusion：模型插件ControlNet保姆级入门介绍
stable-diffusion-webui的介绍与使用——Controlnet1.1
进一寸有一寸的欢喜
06-17 3963
controlnet1.1的使用
Stable Diffusion---Ai绘画-下载-入门-进阶(笔记整理)
SRestia的博客
09-03 1510
1. 提示词常用模板 2. 常用主模型/底模型(checkpoint) 3. 超分辨率 4. Embeddings/LoRa/Hypernetwork 针对性小模型 5. 图片tag反推 6. 定向局部重绘/修复 7. Stable Diffusion扩展插件 8. Lora的详细使用 9. ControlNet基础及进阶
【AIGC 教程】 SD WebUI 教程：使用 ControlNet 精细控制生成结果
2401_84760527的博客
04-02 951
ControlNet 是一种通过添加额外条件来控制扩散模型的神经网络结构。它提供了一种增强稳定扩散的方法，在文本到图像生成过程中使用条件输入（如边缘映射、姿势识别等），可以让生成的图像将更接近输入图像，这比传统的图像到图像生成方法有了很大的改进。在 Stable Diffusion 的基础上使用 ControlNet 就相当于给 Stable Diffusion 加了一个插件用于引导 AI 模型按照输入的条件来生成图，从而实现更精细的生成控制。
政安晨【零基础玩转各类开源AI项目】基于本地Ubuntu系统部署及应用Stable Diffusion web UI：使用 Gradio 库实现的SD的web界面，安装中文包、controlnet等
政安晨——致力于AI人工智能数字互动领域
07-31 1078
本文目标：部署安装SD的WEB UI，并掌握应用各类模型。 Stable Diffusion WebUI是一个稳定的扩散(Web UI)平台，用于管理和监控分布式系统的数据传输和数据处理。
本地部署 Stable Diffusion：零基础搭建 AI文生图模型
yajunjiao的专栏
07-23 712
一直说要开始写大模型相关的文章，一直没开始，这不就开始了吗？文生图大模型，这只是一个粗略的模型，回头lora那些模型都弄完了，再更新。
[ComfyUI] --ComfyUI 是什么？比 Stable Diffusion WebUI 强在哪？
最新发布
技术就是小甜甜博客
07-24 259
ComfyUI是一款开源节点可视化工具，专为StableDiffusion图像生成设计。它将复杂流程分解为可自由连接的节点（如提示编码、采样器等），提供高度定制化的工作流管理。相比WebUI，ComfyUI具有更强的流程控制力和透明度，支持SDXL/ControlNet等多种模型，适合开发者及进阶用户进行精细调整和科研探索。虽然学习曲线较陡，但资源占用更低、响应更快，并能生成可复用的JSON配置文件。建议新手先用WebUI入门，再转向ComfyUI实现更专业的流程控制。
【JeecgBoot AIGC 流程启程】解锁AI流程开始节点
JEECG官方博客
07-24 126
开始节点 是所有流程的起点。每个流程都会默认有一个开始节点，所有流程都必须有一个开始节点。
2025最新版AIGC从入门到精通教程
weixin_47221050的博客
07-23 209
为了更好地理解和应用AIGC技术，加入AIGC开放平台是一个不错的选择。该平台提供多元化的AI创作工具，包括智能问答、AI绘画、智能抠图、智能证件照制作、数字人生成、OCR识别及艺术二维码设计等，满足用户在不同场景下的AI创作需求。平台设计简洁直观，用户无需具备专业的AI知识即可轻松上手，友好的界面设计让AI创作变得更加便捷和愉快。此外，平台致力于提供高质量的AI创作成果，确保结果的精准度和美观度。
如何定制企业级AIGC能力中心？
2401_86594982的博客
07-22 988
如何定制企业级AIGC能力中心？通过构建一站式平台，整合算力资源（如普惠算力广场）、数据商城（含多领域可信数据集）和模型超市（支持DeepSeek、文心一言等大模型），实现音频克隆、视频生成等原子能力定制。结合可扩展架构（如CEA框架），提供智能问卷、虚拟试穿等应用模块，助力企业降低技术门槛，加速AI落地与创新。
AigcPanel数字人形象录制要求
qq_26450889的博客
07-22 375
服饰：避免穿条纹、高反光或纯黑 / 纯白衣物（易导致抠像边缘模糊），建议穿单色、低反光面料。编码：H.264/H.265，MP4格式优先，封装格式需支持音视频同步。基础素材：录制中性表情（闭嘴、睁眼）、眨眼、微笑、皱眉等基础表情各 5-10 秒，用于模型训练。取景范围：半身像（胸部以上）或全身像，确保头部位于画面中央，预留 10%-20% 的上下空间。若使用实景背景，需避免复杂图案或反光物体（如玻璃、金属），防止干扰人像识别。建议使用三点布光法（主光、辅光、轮廓光），确保面部光线均匀。
百度大涨，AIGC视频生成模型蒸汽机将会给百度带来什么？
2401_88566218的博客
07-23 191
第三，随着蒸汽机Turbo版限时免费公测的进行，并计划于8月推出Lite/Pro及全系列有声版本，实现行业首次支持单人人声、双人对话视频生成，这一系列动作展示了百度对于细分市场需求的深刻理解和快速响应能力。其次，蒸汽机上线两周内注册用户量突破30万，单小时任务提交量达1.8万次，累计生成内容超过200万条，这表明该模型已经迅速获得了市场的广泛接受和用户的高度参与。百度7月23日盘中表现强势，盘中一度涨4.49%。首先，百度股价的上涨反映了市场对其新推出的AIGC视频生成模型蒸汽机的高度认可和期待。
Jiasou TideFlow AIGC SEO Agent：全自动外链构建技术重构智能营销新标准
weixin_72847809的博客
07-22 607
摘要：AISEO工具JiasouTideFlow通过GPT-4o与Gemini双引擎，实现智能SEO优化。其特色包括：1周吸引蜘蛛、2周完成收录的技术突破，比传统方式快400%；日均部署300+高权重外链；整合CMS优化等三大模块，支持12种建站系统；智能转化功能使CTR提升27%、CVR提升34%。数据显示，某客户3个月内自然流量GMV增长218%，验证了该工具在提升企业数字营销效率方面的显著效果。
如何使用stable diffusion用自己的照片训练lora模型，给出详细操作步骤。再给出使用这个lora模型绘画的案例，画要非常像自己
02-25
<think>嗯，用户想了解如何用Stable Diffusion和自己的照片训练LoRA模型，还要详细步骤和使用案例。首先，我需要回忆一下LoRA训练的基本流程。可能需要准备数据集，安装必要的工具，比如秋叶的整合包，然后调整参数，最后生成图片。 用户可能对深度学习有一定了解，但可能不太熟悉具体的操作步骤。所以步骤要详细，避免专业术语过多，或者解释清楚术语。比如，需要解释什么是LoRA，为什么需要准备多少张照片，预处理的具体操作是什么。 接下来，用户希望生成的画非常像自己，所以训练数据的质量和多样性很重要。可能需要提醒用户照片要多样化的角度和光线，以及预处理时裁剪和调整大小到512x512的重要性。 然后，安装部分需要给出具体的下载链接，比如秋叶的整合包，这样用户可以直接使用，避免自己配置环境的麻烦。参数设置部分可能需要解释每个参数的作用，比如学习率、epochs等，但用户可能更关心如何调整这些参数来优化效果。 案例部分需要展示具体的操作，比如如何写入提示词，选择哪个模型，以及调整重绘幅度。可能需要强调提示词中需要包含触发词，比如“sjx”，以及使用较低的重绘幅度来保持相似度。 还要考虑用户可能遇到的问题，比如过拟合或欠拟合，如何处理，是否需要调整epochs或者学习率。另外，生成图片后如果不满意，可能需要重新调整参数或增加训练数据。 最后，确保语言简洁明了，步骤清晰，用户能一步步跟着操作。可能需要检查是否有遗漏的步骤，比如安装CUDA驱动，或者设置Python环境，但秋叶的整合包可能已经简化了这些步骤，所以不需要用户自己处理。</think>以下是使用Stable Diffusion训练个人LoRA模型的详细操作指南，并附赠高相似度生成案例： 一、训练准备阶段 1. 硬件要求 - 最低配置：NVIDIA显卡（6GB显存+，推荐RTX 3060以上） - 存储空间：至少20GB可用空间 2. 软件安装 推荐使用「秋叶aaaki」的整合包： ① 下载SD-WebUI（含LoRA训练插件）：https://github.com/Akegarasu/lora-scripts ② 解压后运行"强制更新脚本.bat"确保组件最新 3. 素材准备 - 照片规格： √ 20-30张个人高清照（建议不同角度/表情） √ 包含半身/特写/全身照（比例4:3最佳） √ 纯色背景优先（便于AI识别特征） × 避免遮挡面部的饰品/手势 二、训练实操步骤 1. 数据预处理 ① 新建"input"文件夹存放原始照片 ② 运行"图像预处理脚本.bat"自动完成： - 智能裁剪（聚焦人脸） - 统一调整为512x512分辨率 - 生成图片标签（自动打标） 2. 参数设置 修改train.ps1配置文件： ```powershell $num_epochs = 20 # 迭代次数（10-30） $train_batch_size = 2 # 批量大小（显存8G设1） $resolution = 512 # 分辨率 $lr = 0.0001 # 学习率（推荐1e-4） $network_dim = 128 # 网络维度（越高细节越多） $clip_skip = 2 # 文本理解深度 $shuffle_caption = "True" # 标签随机组合 ``` 3. 启动训练 ① 执行"开始训练.bat" ② 等待生成输出文件（约1-5小时） ③ 在output文件夹获取最终LoRA模型（.safetensors格式） 三、高相似度生成案例 1. 模型加载 在SD-WebUI的"Additional Networks"加载你的LoRA模型，建议权重设为0.6-0.8 2. 提示词模板 ``` (sjx:0.9), [你的名字], RAW photo, detailed skin texture, 8k uhd, soft lighting, high-resolution facial features, Canon EOS R5, natural skin tone Negative: cartoon, anime, deformed, text, watermark ``` *注：sjx为训练时设置的触发词* 3. 参数设置 - 采样方法：DPM++ 2M Karras - 迭代步数：30 - 重绘幅度：0.3-0.5（保持相似度关键） - 面部修复：勾选CodeFormer（权重0.5） 4. 进阶技巧 ① 使用ControlNet的openpose控制姿势 ② 在ADetailer中启用face_yolov8n.pt进行面部精修 ③ 通过XYZ脚本测试不同CFG Scale（5-9） 四、效果优化建议 1. 若出现特征偏离： - 增加训练epoch至30 - 添加更多侧脸/微表情照片 - 降低学习率到5e-5 2. 提升细节表现： - 将network_dim提升至256 - 使用Dreambooth进行预训练 - 在后期处理中使用Ultimate SD Upscale 典型训练结果： 成功案例显示，经过25次迭代训练后，生成的职业照与真人相似度可达85%以上，配合roop插件可实现表情动态控制。建议初次训练后保存多个checkpoint，通过对比测试选择最佳版本。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值