第二讲：LORA模型训练-认识lora模型，精美案例展示

umbato

已于 2024-01-06 11:29:46 修改

阅读量3k

点赞数 19

分类专栏： AI绘画设计文章标签：人工智能

于 2024-01-06 11:05:31 首次发布

本文链接：https://blog.youkuaiyun.com/umbato/article/details/135423311

版权

AI绘画设计专栏收录该内容

6 篇文章

订阅专栏

一、Lora模型的诠释和应用（完美邂逅，一眼动情——初识小Lora）

本节课程我们通过简介和图片示例，先来简单的认识了解一下Lora模型。

1、为什么要训练Lora模型

1.1 当前的设备性能无法支持大模型的训练

大模型的训练需要更多的素材、处理和准备工作（几百张至几十万张都有），大模型的内存也更大（一般常见的可以达到2G-7G）。训练时，对于机器的设备性能要求更高，比如使用Dreambooth去训练大模型，那么你的显卡显存至少要12G以上，这对于设备性能一般的同学，有些过于奢侈了。

而Lora模型，只需要少量的素材集和一般的设备性能即可完成训练，而且模型体积相比大模型非常小（一般常见的8M-144M）。而一个好的Lora模型效果并不会输给某些大模型。

1.2 当前存有的大模型无法满足需求

现在市面上有很多已经训练好的大模型，涉及到很广的范围，比如人物、动物、植物，游戏场景、建筑、空间、二次元、画风等等。但是，根据自身实际需求，这些可能依然不能满足你对某个或者某些需求的定制。那么这时候，你就可以通过定制训练Lora模型来满足自己的需求。

2、Lora模型是什么？

Lora模型全称：Low-Rank Adaptation of Large Language Models（不用管，不用记），它可以作为Stable Diffusion软件的一个插件模型进行调用使用，其他常用的模型有CheckPoint、VAE、Embeddings、Hypernetwork等。

常用五大模型特征图：

模型名称	模型特点	模型擅长	模型后缀	模型大小
CheckPoint	主模型、素材丰富、体积大、占用内存大	人物、画风等	safetensors、ckpt等	2G、4G、7G（均可修剪为2G，效果无差别）
Lora	微调模型、人/物/画风定制、体积小、效率高	推荐人物，其次画风，概念	safetensors、ckpt、pt等	8M-144M
VAE	美化模型、色彩美化、体积小	色彩调节	ckpt、pt等	几十kb
Embedding	嵌入模型、调试文本理解、反向嵌入、正向嵌入（同Lora）、体积小	推荐人物，其次画风	pt等	几十kb
Hypernetwork	超网络模型、细致画风处理及定制、难度高	推荐画风，其次人物，相比以上模型很少用	pt等	小至kb，大至GB

从以上特征图中可以看到，Lora模型包括训练、定制人物（包括真人、二次元）、物品、画风，体积小（占用内存小，一般100M左右）、训练效率高等优点，仅需要少量的数据集即可训练出属于自己的模型。那么，学会了Lora模型的训练，你就可以依葫芦画瓢，调整其他模型对应的参数设置，应用到其他几个模型的训练上面。

Lora模型不仅可以影响整体的绘画效果，还可以对绘画效果及细节进一步的微调。在出图调用过程中，Lora模型需要配合主模型的使用，实现对图片结果的调整优化输出。

我们都知道，在SD中作图时，出图结果是没有下限的，最终的图片可能是杂乱的，崩坏的，不符合我们预期的。那么我们一般是通过调整提示词、提示词的权重、甚至运用ControlNet等插件进行结合使用，优化出图，但是最终的图片效果可能依然达不到我们的预期。那么这时候，我们就可以运用Lora模型的调用，来进一步优化我们的图片。这也是为什么它可以作为一种微调模型使用。即在主模型固定的基础上，对人（包括五官、服饰、姿态等）、物品（特征细节、角度等）、画风（艺术风格、技法等）等细节进一步的微调，来达到自己理想中的出图状态和效果。

2、调用Lora模型的应用案例

我们可以通过下面一些图片的示例，看下在同样提示词和参数设置下，没有调用和调用Lora模型后的效果区别。

2.1、人物Lora模型示例：

（调用JC的Lora模型前）

（调用JC的Lora模型后）

（调用Fantasygirls的Lora模型前）

（调用Fantasygirls的Lora模型后）

2.2、画风Lora模型示例：

（调用画风Lora模型前）

（调用画风Lora模型后）

（调用画风Lora模型前）

（调用画风Lora模型后）

通过以上图例我们可以看到，在相同的提示词和参数下，由SD主模型出图的真人效果，无法实现我们对于某个真实存在的人物图像的直接呈现，但是调用了经过训练这个人物的Lora模型之后，就可以完成人物相貌的还原以及特效、场景的二次构造。

另外，在没有改善画质等特别提示词和相同的参数下，由SD主模型出图的效果，整体色调会有些偏暗，构图简单、特效简单，但是调用了训练的Lora模型后，图片的整体风格、色彩色调、构图特效、细节优化等有了很大的加强、改善和提升。如果，你会使用PhotoShop等软件，还可以对图片进行二次美化和合成处理，来达到你所需求的最终效果。

下期第三讲预告：LORA模型训练-10分钟掌握模型训练素材图片的要求

视频讲解课程地址：

SD-LORA模型训练及SDXL-lora模型训练基础加进阶教程huke88.com/course/161695.html?pageType=8&key=lora%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83&identify=1704508682&ab=1编辑https://huke88.com/course/161695.html