什么是LoRA模型?如何使用和训练LoRA模型?你想要的都在这!

部署运行你感兴趣的模型镜像

大家刚接触Stable Diffusion时,会听到很多专业术语,其中LoRA模型必定是会被提及到的,那么什么是LoRA模型?它有什么作用呢? 本文来为大家做一个解答~

在这里插入图片描述

1.什么是LoRa

LoRA模型全称是:Low-Rank Adaptation of Large Language Models,**可以理解为Stable-Diffusion中的一个插件,仅需要少量的数据就可以进行训练的一种模型。**在生成图片时,LoRA模型会与大模型结合使用,从而实现对输出图片结果的调整。

我们举个更容易懂的例子:**大模型就像素颜的人,LoRA模型就如同进行了化妆、整容或cosplay,但内在还在大模型的底子。**当然LoRA模型不仅仅限制于人物,场景、动漫、风格都有相对应的LoRA。

2.下载安装

LoRA和大模型一样需要我们自己去下载,下面推荐一些常用的下载网站。

(需要LoRA和大模型和安装包的同学可以文末自行扫描获取)

Libilibi:LiblibAI·哩布哩布AI - 中国领先的AI创作平台

吐司:吐司 TusiArt.com

Civitai:Civitai: The Home of Open-Source Generative AI

打开网站,点击筛选-点击需要的LoRA-点击即可下载。

下载完成后,会得到 Eula.safetensors 文件,将其拷贝到 LoRA目录。

3.使用

我们打开web ui页面,选择大模型和其他参数,然后点击模型中的LoRA,SD会自动把LoRA添加到提示词内。

设置参数时,LoRA的权重数值不能超过1

下面是我们生成出来的一组图。可以看到主角的裙子基本是锁定的,这个就是LoRA的功劳。

我们还可以尝试多个LoRA结合使用。

在这段提示词中我们使用了两个不同的LoRA。

多个Lora的权重数值之和也不能大于1。

生成一下看下效果,这两个提示词没有变化。

4.训练LoRA

虽然使用成型的LoRA很方便,但通常我们在生图的,可能很难找到完全匹配的,此时就需要我们自己动手训练了,毕竟自己动手丰衣足食,几个步骤简单为大家讲解如何训练~

1、配置要求和训练环境

电脑配置:N卡 gpu 6G以上;训练环境:除了直接用训练脚本直接进行操作外 可以使用不同的训练图形化操作界面方便操作 可以用秋叶LORA模型训练器、朱尼酱的赛博丹炉,kohya-ss gui选一个即可,电脑配置不够用 可以选择 AutoDL、Google Colab青椒云桌面、揽睿星舟等云平台。

2、训练步骤

  • 训练数据集准备:对图像进行预处理包括分类、裁剪大小、打标签优

  • 训练参数调节:调整核心参数配置,包括:学习次数(repeat)、循环(epoch)、并行数量(Batch_size)、学习率(Unet_lr)、学习精细度(Network Dimension)、优化器(Optimazer)

**3、模型训练:**参数调整完毕后,根据图片数量和参数设置训练时长一般20分钟以上。

**4、模型测试:**训练完毕后得到的模型通过xyz 脚本测试每个模型的效果。后续小编将详细介绍各个参数的作用和lora训练的一些注意点,大家可以关注一下~

以上就是关于LoRA 的内容啦~

资料软件免费放送

次日同一发放请耐心等待

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

需要的可以扫描下方优快云官方认证二维码免费领取【保证100%免费】

请添加图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】请添加图片描述

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型,相比 3.0 版本,它提升了图像质量、运行速度和硬件效率

10-04
### LoRA的基本概念 LoRA(Low-Rank Adaptation of Large Language Models)即大语言模型的低秩自适应。像SD、LLM等大模型往往具有较低的内在维度,意味着大模型的权重矩阵往往是低秩的,并非大模型所有的参数都是必需的,可以将这些权重矩阵分解为低秩矩阵,并通过训练这部分权重来实现比较好的性能,相比大模型全参微调训练LoRA模型更具性价比 [^1]。 ### LoRA的原理 大模型的权重矩阵可视为低秩矩阵。在微调过程中,不直接调整预训练模型的参数,而是在原模型的基础上引入两个低秩矩阵(一个是从输入维度到低秩维度,另一个是从低秩维度到输出维度),通过训练这两个低秩矩阵来间接影响模型的输出,减少了需要训练的参数数量。 ### LoRA的应用 - **自然语言处理**:在文本分类、情感分析、机器翻译等任务中,使用LoRA可以在不进行全量参数微调的情况下,快速适配特定的数据集,提高模型在特定任务上的性能。例如,对于一个已经在大规模语料上预训练好的语言模型,当需要将其应用于某个特定领域(如医疗、法律)的文本分类任务时,可以使用LoRA模型进行微调,使模型能够更好地处理该领域的文本。 - **图像生成**:在基于扩散模型(如Stable Diffusion)的图像生成任务中,LoRA也有广泛应用。可以通过训练LoRA参数,让模型生成具有特定风格、主题的图像,而无需重新训练整个模型。 ```python # 以下是一个简单的LoRA实现示例(伪代码) import torch import torch.nn as nn class LoRALayer(nn.Module): def __init__(self, in_features, out_features, rank=8): super().__init__() self.rank = rank self.A = nn.Parameter(torch.randn(in_features, rank)) self.B = nn.Parameter(torch.randn(rank, out_features)) def forward(self, x): lora_output = torch.matmul(x, torch.matmul(self.A, self.B)) return lora_output # 假设原线性层 original_layer = nn.Linear(100, 200) lora_layer = LoRALayer(100, 200) # 前向传播 input_tensor = torch.randn(32, 100) original_output = original_layer(input_tensor) lora_output = lora_layer(input_tensor) final_output = original_output + lora_output ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值