大家好,我是强哥
接触AI绘画的小伙伴,一定听过Lora。
Lora模型全称是:Low-Rank Adaptation of Large Language Models,可以理解为Stable-Diffusion中的一个插件,在生成图片时,Lora模型会与大模型结合使用,从而实现对输出图片结果的调整。
我们举个更容易懂的例子:大模型就像素颜的人,Lora模型就如同进行了化妆、整容或cosplay,但内在还在大模型的底子。当然Lora模型不仅仅限制于人物,场景、动漫、风格都有相对应的Lora。

作为公认最具性价比的模型训练手段,只需要不到20张图片和10分钟的训练,就可以将一个人物、物品甚至是风格融入到AI绘画中,所以说训练Lora是每一个AI绘画学者必备的技能!今天就跟着强哥来进入学习吧~
我给大家准备了一份完整版的AI绘画全套学习资料,已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

一、配置要求和训练环境
1、电脑配置: N卡 gpu 6G以上;
2、训练环境: 除了直接用训练脚本直接进行操作外,可以使用不同的训练图形化操作界面方便操作。可以用秋叶Lora模型训练器、朱尼酱的赛博丹炉等等选一个即可
3、模型训练器下载:秋叶大佬的Lora模型训练器我已经准备好了,需要的小伙伴可以看上方扫描免费获取哦
二、训练数据集准备
1、训练素材处理:
首先确定你的训练主题,比如某个人物、某种物品、某种画风等,确定好后准备用于训练的素材图片,素材图的质量直接决定了模型的质量,好的训练集有以下要求:
-
不少于 15 张的高质量图片,一般可以准备 20-50 张图;
-
图片主体内容清晰可辨、特征明显,图片构图简单,避免其它杂乱元素;
-
如果是人物照,尽可能以脸部特写为主(多角度、多表情),再放几张全身像(不同姿势、不同服装);
-
减少重复或相似度高的图片。
素材图准备完毕后,需要对图片做进一步处理:
-
对于低像素的素材图,可以用 Stable Diffusion 的 Extra 功能进行高清处理;
-
统一素材图分辨率,注意分辨率为 64 的倍数, 显存低的可裁切为 512x512,显存高的可裁切为 768x768,可以通过美图秀秀等工具进行批量裁切,尺寸越大训练模型越吃显存,可能会出现报错学习卡死等问题。
2. 图像预处理
这一步的关键是对训练素材进行打标签,从而辅助 AI 学习。这里介绍两种打标签的方法:
方法一:把训练素材文件夹路径填写到 Stable Diffusion 训练模块中的图像预处理功能,勾选生成 DeepBooru,进行 tags 打标签。

方法二:安装 tagger 标签器插件,进行 tags 打标签。项目地址:https://github.com/toriato/stable-diffusion-webui-wd14-tagger
(该网站需科学上网,需要tagger 标签器插件的小伙伴可以看上方或文末扫描免费获取哦)
选择批量处理, 输入目录填写处理好的图片目录,设置标签文件输出目录,阈值设置为 0.3(生成尽可能多的标签来描述图片内容),开始打标签。

3. 打标优化
预处理生成 tags 打标文件后,就需要对文件中的标签再进行优化,一般有两种优化方法:
保留全部标签:
优势: 效率快省时省力的训练出模型,拟合度提高,且过拟合出现的情况是最低的。
缺陷: 风格会变化过大,tag调用比较困难,训练时需要把epoch提高时间成本会被拉长。
剔除部分特征标签:
优势: 整合成少量的触发词tag后,调用方便,更精准还原角色特征。
缺陷: 容易导致过拟合,泛化性也会降低,如果标签删太多会导致生成的画面非常固化。
我给大家准备了一份完整版的AI绘画全套学习资料,已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

三、训练参数调节
至此,准备工作就完成了,可以开始准备正式训练LoRA了,这边使用秋叶大佬的Lora训练器SD-Trainer,选择新手训练模式。

进入新手模式后,需要选择训练LoRA使用的大模型:
底模文件路径,选择你要训练Lora使用的大模型,直接点击右侧的小文件夹选择即可。

训练数据集路径:在选择这一步之前,需要现在sd/lora-scripts-v1.7.3/train这个文件夹下建一个文件夹,在文件夹在里面建一个“数字_英文名”的文件夹,将之前打标好的图和标签一起复制到“数字_英文名”的文件中。
修改分辨率(之前数据集的尺寸是多少,这里就用多少)保存设置:保存模型的名称修改成你想要的名称,点击开始训练,就可以在终端看到它正在疯狂训练中…这个时间会比较久,慢慢等待就好。

这个过程会比较久,等待训练成功后会提示你训练成功。至此整个Lora的训练就完成了,你可以拿你训练好的Lora在WebUI上使用了。
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
对于0基础小白入门:
如果你是零基础小白,想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:Stable diffusion安装包、stable diffusion零基础入门全套PDF,提示词宝典、各种模型插件视频学习教程。带你从零基础系统性的学好AI绘画!
零基础AI绘画学习资源介绍
👉stable diffusion新手0基础入门PDF👈
(全套教程文末领取哈)

👉AI绘画必备工具👈

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉AI绘画基础+速成+进阶使用教程👈
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉12000+AI关键词大合集👈

这份完整版的AI绘画全套学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

932

被折叠的 条评论
为什么被折叠?



