(十七) Stable Diffusion 绘画入门教程(webui)-ControlNet(Shuffle)

大家好我是AIGC阿道夫

Shuffle(随机洗牌),这个预处理器会把参考图的颜色打乱搅拌到一起,然后重新组合的方式重新生成一张图,可以想象出来这是一个整体风格控制的处理器。

那么问题来了,官方为啥会设计个这样的处理器呢,主要是给懒人用的,不想写提示词或者反推,直接拿原图进行颜色重组组合生成一个风格相近的图就可以了。

如下图,最左边为参考图,中间为搅拌融合的预处理图,最右边的是重新生成的图:

在这里插入图片描述

文章目录
  • 一、选大模型
  • 二、写提示词
  • 三、基础参数设置
  • 四、启用ControlNet

一、选大模型

这里用的最常用的anything,并没有什么特殊性
在这里插入图片描述

二、写提示词

就是为了省提示词,增加灵感才用这个处理器,提示词:a girl 😒

三、基础参数设置

基础参数设置还是和之前文章一样,长宽可以通过ControlNet中的那个回传按钮回传过来,不用手动填写

另外就是迭代步数,大家可以尝试下,稍微高一点出的图质量会好一些,如果太低可能会出现颜色未完全重组好的图,我这里用的30

在这里插入图片描述
在这里插入图片描述

四、启用ControlNet

启用ControlNet,参数和预处理器配置如下:

在这里插入图片描述

点击生成就可以了(当然,每次生成图像都是不一样的,因为颜色是随机搅拌融合重组的)

在这里插入图片描述

小提示:当想生成同类型风格图像但没有灵感时,用这个处理器批量生成是个不错的选择。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费请添加图片描述
<think>嗯,用户想了解如何用Stable Diffusion和自己的照片训练LoRA模型,还要详细步骤和使用案例。首先,我需要回忆一下LoRA训练的基本流程。可能需要准备数据集,安装必要的工具,比如秋叶的整合包,然后调整参数,最后生成图片。 用户可能对深度学习有一定了解,但可能不太熟悉具体的操作步骤。所以步骤要详细,避免专业术语过多,或者解释清楚术语。比如,需要解释什么是LoRA,为什么需要准备多少张照片,预处理的具体操作是什么。 接下来,用户希望生成的画非常像自己,所以训练数据的质量和多样性很重要。可能需要提醒用户照片要多样化的角度和光线,以及预处理时裁剪和调整大小到512x512的重要性。 然后,安装部分需要给出具体的下载链接,比如秋叶的整合包,这样用户可以直接使用,避免自己配置环境的麻烦。参数设置部分可能需要解释每个参数的作用,比如学习率、epochs等,但用户可能更关心如何调整这些参数来优化效果。 案例部分需要展示具体的操作,比如如何写入提示词,选择哪个模型,以及调整重绘幅度。可能需要强调提示词中需要包含触发词,比如“sjx”,以及使用较低的重绘幅度来保持相似度。 还要考虑用户可能遇到的问题,比如过拟合或欠拟合,如何处理,是否需要调整epochs或者学习率。另外,生成图片后如果不满意,可能需要重新调整参数或增加训练数据。 最后,确保语言简洁明了,步骤清晰,用户能一步步跟着操作。可能需要检查是否有遗漏的步骤,比如安装CUDA驱动,或者设置Python环境,但秋叶的整合包可能已经简化了这些步骤,所以不需要用户自己处理。</think>以下是使用Stable Diffusion训练个人LoRA模型的详细操作指南,并附赠高相似度生成案例: 一、训练准备阶段 1. 硬件要求 - 最低配置:NVIDIA显卡(6GB显存+,推荐RTX 3060以上) - 存储空间:至少20GB可用空间 2. 软件安装 推荐使用「秋叶aaaki」的整合包: ① 下载SD-WebUI(含LoRA训练插件):https://github.com/Akegarasu/lora-scripts ② 解压后运行"强制更新脚本.bat"确保组件最新 3. 素材准备 - 照片规格: √ 20-30张个人高清照(建议不同角度/表情) √ 包含半身/特写/全身照(比例4:3最佳) √ 纯色背景优先(便于AI识别特征) × 避免遮挡面部的饰品/手势 二、训练实操步骤 1. 数据预处理 ① 新建"input"文件夹存放原始照片 ② 运行"图像预处理脚本.bat"自动完成: - 智能裁剪(聚焦人脸) - 统一调整为512x512分辨率 - 生成图片标签(自动打标) 2. 参数设置 修改train.ps1配置文件: ```powershell $num_epochs = 20 # 迭代次数(10-30) $train_batch_size = 2 # 批量大小(显存8G设1) $resolution = 512 # 分辨率 $lr = 0.0001 # 学习率(推荐1e-4) $network_dim = 128 # 网络维度(越高细节越多) $clip_skip = 2 # 文本理解深度 $shuffle_caption = "True" # 标签随机组合 ``` 3. 启动训练 ① 执行"开始训练.bat" ② 等待生成输出文件(约1-5小时) ③ 在output文件夹获取最终LoRA模型(.safetensors格式) 三、高相似度生成案例 1. 模型加载 在SD-WebUI的"Additional Networks"加载你的LoRA模型,建议权重设为0.6-0.8 2. 提示词模板 ``` (sjx:0.9), [你的名字], RAW photo, detailed skin texture, 8k uhd, soft lighting, high-resolution facial features, Canon EOS R5, natural skin tone Negative: cartoon, anime, deformed, text, watermark ``` *注:sjx为训练时设置的触发词* 3. 参数设置 - 采样方法:DPM++ 2M Karras - 迭代步数:30 - 重绘幅度:0.3-0.5(保持相似度关键) - 面部修复:勾选CodeFormer(权重0.5) 4. 进阶技巧 ① 使用ControlNet的openpose控制姿势 ② 在ADetailer中启用face_yolov8n.pt进行面部精修 ③ 通过XYZ脚本测试不同CFG Scale(5-9) 四、效果优化建议 1. 若出现特征偏离: - 增加训练epoch至30 - 添加更多侧脸/微表情照片 - 降低学习率到5e-5 2. 提升细节表现: - 将network_dim提升至256 - 使用Dreambooth进行预训练 - 在后期处理中使用Ultimate SD Upscale 典型训练结果: 成功案例显示,经过25次迭代训练后,生成的职业照与真人相似度可达85%以上,配合roop插件可实现表情动态控制。建议初次训练后保存多个checkpoint,通过对比测试选择最佳版本。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值