手把手教你训练LoRA：LoRA训练入门指南

最新推荐文章于 2025-06-23 14:05:16 发布
最新推荐文章于 2025-06-23 14:05:16 发布
阅读量1.5k 收藏 13
点赞数 15
CC 4.0 BY-SA版权
分类专栏： SD教程 Stable Diffusion AIGC 文章标签： stable diffusion 人工智能 AI作画 AI绘画 模型 lora AI教程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_71746299/article/details/145872289

一、什么是LoRA？给小白的极简科普

如果把AI大模型比作一位全能学霸，LoRA就是让学霸快速掌握新技能的"记忆贴纸"。举个生活中的例子：当你想让ChatGPT学会写文言文，传统方法是让它重学所有知识（相当于重新训练整个模型），耗时又烧钱。而LoRA只需要给它贴一张"古风语法小抄"（低秩矩阵），就能实现相同效果。

这种技术全称Low-Rank Adaptation of Large Language Models（大模型低秩自适应），核心原理是通过低维度的参数矩阵调整模型行为。好比在原有神经网络上叠加一层轻量"补丁"，只需训练原模型0.1%-1%的参数量，就能实现90%以上的微调效果。目前广泛应用于Stable Diffusion图像生成、ChatGPT领域适配等场景。

二、训练集准备：多样化与质量的平衡

训练集是 LoRA 模型的基石，高质量的训练集能够显著提升模型的表现。

  • 多样化样本：

    • 收集尽可能多角度、不同姿势、不同表情的训练对象图片。
    • 如果训练对象有多种服装或造型，也应尽量包含在训练集中。

  • 保证质量：

    • 确保图片清晰，避免模糊、低分辨率或过度压缩的图片。
    • 图片背景尽量简洁，突出训练对象主体。

  • 多角度：

    • 保证训练图片包含训练对象不同角度的图片，例如正面，侧面，背面
    • 收集10-30张目标主体（如人物/服饰/画风）的图片
    • 包含不同角度（正/侧/仰视）、表情、动作和背景组合
    • 建议使用COS图/插画/3D模型截图混合搭配

三、数据预处理全流程

  1. 图片预处理：

    • 使用图片处理软件（如 Photoshop、GIMP）或脚本将所有训练图片裁剪或缩放到 512x512 像素（可以用AI写批量处理脚本）。
    • 使用 WD 1.4 Tagger（https://github.com/toriato/stable-diffusion-webui-wd14-tagger）为图片自动生成标签。这个工具可以安装在stable diffusion webui 中，也可以单独安装。

  3. 标注清洗：

    • 安装 Dataset Tag Editor 的 web UI 插件（https://github.com/toshiaki1729/stable-diffusion-webui-dataset-tag-editor），这个工具可以安装在stable diffusion webui 中，方便对标签进行批量和单个图片的更改。

    • 审核思路：

      • 整体审核：浏览所有图片的标签，了解整体的标注质量。
      • 批量调整：使用批量编辑功能，统一修改或删除某些标签。
      • 单张修改：针对个别图片，手动调整标签，确保准确性。

    • 明确不符合角色特质的错词： 删除或者修改与训练对象不相关的标签。

    • 与训练对象本体识别特征密切相关的词： 确保与训练对象相关的标签都准确无误。

四、Kohya GUI训练参数详解

项目地址：https://github.com/bmaltais/kohya_ss

需提前安装Python3.10.11、CUDA 11.8 toolkit、Git和Visual Studio 组件

具体参考项目README

安装（Windows）

git clone https://github.com/bmaltais/kohya_sscd kohya_ss#设置环境和安装依赖.\setup.bat#运行.\gui.bat

Windows下推荐安装CUDNN，加快训练速度。我是在macOS上跑的训练，费了老大劲才配置好。

新手推荐参数

参数项推荐值作用说明
OptimizerLion比AdamW收敛更快
Network Rank32模型复杂度
Network Alpha16防止过拟合
Batch Size2显存<8G时设为1
Max Steps1200配合学习率调整
Shuffle Caption✔️增强泛化能力
Keep Tokens1固定触发词位置

高级技巧

  • 学习率设置：1e-4开始，loss波动大时降至5e-5
  • 使用-xformers加速训练（需额外安装）
  • 每隔200步保存检查点，通过TensorBoard监控loss曲线

常见问题处理

  • 出现NaN值：降低学习率或减小batch_size
  • 特征丢失：检查是否误删核心标签
  • 过拟合表现：增加network_alpha或提前终止训练

四、效果验证方法论

  1. 基础测试：使用[触发词] + 简单prompt生成多尺寸图片
  2. 泛化测试：组合不同风格/场景（如赛博朋克背景+水墨风）
  3. 特征剥离测试：移除触发词观察特征保留度

建议训练完成后进行2-3次微调迭代，每次调整10%的关键参数，逐步逼近最佳效果。记住，好的LoRA应该像调味料——既能突出主味，又能兼容各种菜式！

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。

二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

需要的可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

1.stable diffusion安装包 （全套教程文末领取哈）

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候，往往书籍代码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入门stable diffusion，科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

这份完整版的学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

14.10 《24小时单卡训练！LoRA微调LLaMA2-7B全攻略，RTX 3090轻松跑》
yonggeit的博客
07-24 166
本文将介绍如何在单卡RTX 3090上实现LLaMA2-7B模型的指令微调。通过4-bit量化、LoRA技术和梯度优化三项关键技术的组合运用，可以将显存占用降至3.5GB，使24GB显存的消费级显卡也能在20小时内完成训练。文章详细阐述了从环境搭建、数据处理到模型配置的全流程，包括Dolly-15K数据集清洗转换、Alpaca格式适配等关键步骤，并提供了完整的代码实现和参数调优指南，帮助开发者突破大模型微调的硬件门槛。
零基础入门simulink仿真专栏实例--通信领域的无线协议与通信场景应用：基于Simulink的LoRa通信系统仿真建模示例
amy_mhd的博客
03-24 1678
LoRa通信主要特点包括长距离传输、抗干扰能力强和低功耗等。其核心在于使用了一种特殊的调制方式——啁啾扩频（CSS）。然而，在Simulink中没有直接支持CSS的模块，所以我们可以通过模拟类似的效果，例如使用频率偏移键控（FSK）或正交幅度调制（QAM）作为替代方案来进行简化演示。在这个示例中，我们将使用GFSK（高斯频移键控）作为调制方法来近似表示LoRa的调制特性，并且假设所有必要的编码和交织已经被处理完毕。
大模型高效微调-LoRA原理详解和训练过程深入分析
SHIDA优快云的博客
06-11 5274
博客首发于我的知乎，详见：https://zhuanlan.zhihu.com/p/702629428 一、LoRA原理 LoRA(Low-Rank Adaptation of LLMs)，即LLMs的低秩适应，是参数高效微调最常用的方法。 LoRA的本质就是用更少的训练参数来近似LLM全参数微调所得的增量参数，从而达到使用更少显存占用的高效微调。 1.1 问题定义 LoRA与训练目标是解耦的，...
LoRa模型训练教程（炼丹，Stable Diffusion）
热门推荐
heiyumiao的博客
07-19 2万+
何为LoRA？LoRA并不是扩散模型专有的技术，而是从隔壁语言模型（LLM）迁移过来的，旨在解决避免将整个模型参数拷贝下来才能对模型进行调校的问题。因为大型语言模型的参数量过于恐怖，比如最近新出的GPT-4参数量约为100 万亿。LoRA采用的方式是向原有的模型中插入新的数据处理层，这样就避免了去修改原有的模型参数，从而避免将整个模型进行拷贝的情况，同时其也优化了插入层的参数量，最终实现了一种很轻量化的模型调校方法。
如何高效训练通义万相2.1的LoRA：从原理到实战指南
最新发布
Liudef06的博客
06-23 3万+
摘要： 本文详细介绍了如何利用LoRA技术对通义万相2.1 AI图像生成模型进行低成本个性化定制。LoRA通过低秩分解技术，仅需调整0.1%-1%的参数量，即可实现高效微调，显著降低硬件需求（推荐RTX 4090显卡）。内容涵盖环境配置、数据集构建（建议50-100张高分辨率图片）、训练流程（关键参数如rank=64、学习率1e-4）及部署应用，并提供了权重融合和问题诊断方案。通过LoRA技术，开发者可快速打造专属风格的AI艺术家，突破API定制限制。
如何训练一个大模型：LoRA篇
xian0710830114的专栏
05-13 2万+
现在有很多开源的大模型，他们一般都是通用的，这就意味着这些开源大模型在特定任务上可能力不从心。为了适应我们的下游任务，就需要对预训练模型进行微调。 全参数微调有两个问题：在新的数据集上训练，会破坏大模型原来的能力，使其泛化能力急剧下降；而且现在的模型参数动辄几十亿上百亿，要执行全参数微调的话，他贵啊！！ 于是LoRA出现了，LoRA（Low-Rank Adaptation)是微软提出的一种参数有效的微调方法，可以降低微调占用的显存以及更轻量化的迁移。同时解决了上述两个问题，那它凭什么这么厉害？往下看吧。
手把手教你训练自己的Lora
08-26 1万+
本文教你手把手训练自己的Lora模型， 炼制的是Stable Diffusion的Lora模型。
如何从零开始训练专属 LoRA 模型？4600字总结送给你！
m0_74942241的博客
03-25 1516
上篇文章我分享了 47 个高质量的模型，这些模型都是别人训练好的，使用起来非常方便。但是如果我们要生成特定人物、物品或画风，别人的这些模型就满足不了了，这时候就需要通过训练自己的专属模型来实现。。本文主要介绍如何训练 LoRA 模型，LoRA 是一种轻量化的模型微调训练方法，是在原有大模型的基础上，对模型进行微调，从而能够生成特定的人物、物品或画风。该方法具有训练速度快，模型大小适中，训练配置要求低的特点，能用少量的图片训练出想要的风格效果。
GPT-4 实战：手把手教你构建 AIGC 应用
AI天才研究院
04-23 1035
随着GPT-4等大语言模型（LLM）的普及，AIGC（Artificial Intelligence Generated Content）已从实验室走向实际应用，覆盖文本、图像、视频等多模态内容生成。帮助开发者理解GPT-4的技术特性与AIGC应用的设计逻辑；提供从API接入到完整应用开发的全流程实战指南；解析典型场景（如智能写作、多模态交互）的技术实现细节；总结开发中的常见问题与优化策略。本文范围聚焦于基于GPT-4 API的应用开发，不涉及模型训练或底层架构改造。核心概念。
【STM32基础入门】：手把手教你读懂数据手册
[【STM32基础入门】：手把手教你读懂数据手册](https://res.cloudinary.com/rsc/image/upload/b_rgb:FFFFFF,c_pad,dpr_2.625,f_auto,h_214,q_auto,w_380/c_pad,h_214,w_380/R9173762-01?pgw=1) # 摘要 本文详细介绍...
STM32外设驱动开发：Keil环境中编写与测试（驱动开发不再难，手把手教你写代码）
[STM32外设驱动开发：Keil环境中编写与测试（驱动开发不再难，手把手教你写代码）](https://khuenguyencreator.com/wp-content/uploads/2021/06/lap-trinh-esp32-gpio-input-output.jpg) # 摘要 本文全面探讨了基于...
AI绘画：Lora模型训练完整流程！
托尼不是塔克
05-10 1万+
关于AI绘画(基于Stable Diffusion Webui)，我之前已经写过三篇文章，分别是。整体来说还是比简单的，搞个别人的模型，搞个提示词就出图了。今天来一个有些难度的，自己训练一个LoRA微调模型。
第二讲：LORA模型训练-认识lora模型，精美案例展示
umbato的博客
01-06 3224
我们都知道，在SD中作图时，出图结果是没有下限的，最终的图片可能是杂乱的，崩坏的，不符合我们预期的。训练时，对于机器的设备性能要求更高，比如使用Dreambooth去训练大模型，那么你的显卡显存至少要12G以上，这对于设备性能一般的同学，有些过于奢侈了。而Lora模型，只需要少量的素材集和一般的设备性能即可完成训练，而且模型体积相比大模型非常小（一般常见的8M-144M）。那么，学会了Lora模型的训练，你就可以依葫芦画瓢，调整其他模型对应的参数设置，应用到其他几个模型的训练上面。
什么是LoRA模型？如何使用和训练LoRA模型？你想要的都在这！
阿道夫的博客
07-08 1万+
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。虽然使用成型的LoRA很方便，但通常我们在生图的，可能很难找到完全匹配的，此时就需要我们自己动手训练了，毕竟自己动手丰衣足食，几个步骤简单为大家讲解如何训练～AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。下面是我们生成出来的一组图。
【LoRA案例教程】单人LoRA模型训练，新手入门宝典
m0_71745258的博客
05-08 2065
若想省略这些，可直接在文末获取Lora模型训练手册自行查看随着AIGC的发展，许多传统工作岗位正逐渐被AI取代。同时，AI变革也在创造前所未有的新岗位和机会！而模型训练便是通往新天地的钥匙之一。如果你不想被时代抛弃，现在就行动起来！OneThingAI已经为LoRA小白准备好了训练教程，一起来看看吧！
LoRa技术训练模型与实践
weixin_33068055的博客
09-15 1997
本文还有配套的精品资源，点击获取 简介：LoRa是一种低功耗广域网络通信技术，适用于物联网设备，使用CSS技术实现远距离低功耗传输。此压缩包"lora训练模型-lora-scripts-main.zip"包含训练模型和脚本，用于理解和发展LoRa系统。训练模型可能涵盖了信号处理、信道建模、频率规划、调制与解调、能量效率与覆盖范围、网络架构、应用示例、数据分析与优化、软件定义...
手把手教你将本地部署的DeepSeek R1集成到Dify
m0_63171455的博客
02-01 6489
今天，手把手教大家在本地部署DeepSeek R1，并将其集成到Dify中，实打实提升你的工作效率！本部分介绍在本地通过ollama部署DeepSeek R1。在ollama官网，选择操作系统，下载ollama应用程序并安装命令行输入ollama，出现下面的提示，则说明安装成功。在ollama官网，点击「Models」，选择第一个「DeepSeek R1」根据自己的显存选择对应的版本大小。推荐GPU：- 7B和16B之类的较小型号，消费者GPU（例如NVIDIA RTX 4090）是合适的。
SD之lora训练
蓝天白云
12-09 1万+
训练自己的模型可以在现有模型的基础上，让AI懂得如何更精确生成/生成特定的比如，你下载了一个人物的大模型checkpoint，但是你想生成特点的人物，比如迪丽热巴，AI大模型是不知道迪丽热巴长什么样子的，这个使用lora就派上用场了。要注意的是，对于一些基础东西，比如长头发、短头发、黑色头发、棕色头发，这些AI 都是知道的，lora并不是做这个的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值