Stable Diffusion LoRA精讲!小白必会的小模型使用技巧

引言:
想要让Stable Diffusion生成更符合需求的图片?LoRA(小模型)是你的秘密武器!本节课,林姨将带你深入解析LoRA的定义、下载、安装与使用方法,让你轻松掌握高效创作的核心技巧!🚀


一、LoRA是什么?

LoRA(Low-Rank Adaptation)是一种轻量级微调技术,用于在不重新训练大模型的情况下,让其学会新的风格或概念。简单来说,LoRA就像给AI画师装上了一个瞄准镜,使其能够更精准地生成特定风格的图片。


二、LoRA的下载方式
  1. C站下载

    • 访问Civitai网站,筛选LoRA模型,选择喜欢的模型下载。

      图片

  2. 启动器下载

    • 在Stable Diffusion启动器的模型管理中,选择LoRA模型进行下载,启动器会自动完成安装。

      图片

      有需要stable diffusion整合包以及提示词插件,可以扫描下方,免费获取

请添加图片描述


三、LoRA的安装地址
  • 如果通过启动器下载,LoRA会自动安装到正确位置。

  • 如果从C站或网盘下载,将文件复制到Stable Diffusion根目录的models/Lora文件夹中。

    图片


四、LoRA的使用方法
  1. 阅读作者信息

    • 了解LoRA模型对应的大模型,这是确保效果的关键。
  2. 打开附加网络界面

    • 在Stable Diffusion界面中,找到LoRA标签,选择需要的模型并调用。

      图片

  3. 使用触发词

    • 有些LoRA需要特定的提示词才能起作用,确保在提示词中加入触发词。(盲盒触发词为加粗部分:a boy.lora:blindbox_v1_mix:1,full body,chibi,)

      图片

  4. 参考作者参数生成

    • 根据作者提供的参数(如采样器、CFG值、权重等)进行设置,以复刻类似效果。
  5. 调整权重

    • 权重值越大,LoRA对画面的影响越大;权重为负时,可以减少LoRA的影响。

    图片


五、实操案例:使用LoRA生成特定风格图片
  1. 选择LoRA模型:根据需求选择合适的LoRA模型,如“盲盒风格”。

    正向提示词:masterpiece,best quality,a boy.,lora:blindbox_v1_mix:0.5,full body,chibi,

    反向提示词:lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,worst quality,low quality,normal quality,jpeg artifacts,signature,watermark,username,blurry,

  2. 设置参数

    • 在提示词中加入触发词(如<lora:盲盒风格:0.8>)。

    • 图片

    • 调整权重值(建议0.4-0.8之间)。

      图片

  3. 生成图片:设置参数为1.3点击生成,观察LoRA对画面的影响。

    图片

    \4. 现代建筑无lora案例:Grand panorama,parallel viewing angle,modern architecture,science fiction,

    图片

    图片

\5. 现代建筑加lora案例:

masterpiece,best quality,Grand panorama,parallel viewing angle,modern architecture,science fiction,

lora:JJsCurvyArchitecture:0.8,lora:fantasy_20230707233406:0.4,

图片

图片

\6. 宫崎骏风格治愈系风景:hayao miyazaki,healing landscape.

图片

\7. 宫崎骏风格治愈系风景+吉卜力lora:hayao miyazaki,healing landscape,lora:Dark_Ghibli:1.2,<lora:Pyramid lora_Ghibli_n3_0.7+Pyramid lora_Ghibli_v2_0.3:0.3>, 调整不同的参考系数,就能得到下面的风景图,你喜欢哪张呢?如果都不满意,可以找找其他的大模型和lora,做出让自己满意的图片。

图片

图片

图片

图片

图片

图片


六、常见问题解答
  1. LoRA效果不明显?

    • 检查是否正确调用了触发词,或尝试调整权重值。
  2. 多个LoRA混用效果差?

    • 新手建议先从单个LoRA开始,避免混用导致效果混乱。

结语:LoRA让创作更灵活!

通过本节课的学习,你已掌握LoRA的基本使用方法。现在就用这些知识优化你的生成效果,探索更多创意吧!🎨

这里直接将该软件分享出来给大家吧~

1.stable diffusion安装包

随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.SD从0到落地实战演练

在这里插入图片描述

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名SD大神的正确特征了。

这份完整版的stable diffusion资料我已经打包好,需要的点击下方插件,即可前往免费领取!

请添加图片描述

### 如何使用 Stable Diffusion LoRA 模型 #### 放置模型文件 为了使自定义训练的LoRA模型能够在Stable Diffusion环境中正常工作,需将其放置于指定路径。通常情况下,应将训练完成后的LoRA模型置于`stableDiffusion`安装目录下的`models/lora/`子文件夹内[^1]。 #### 加载并应用模型 当希望利用已有的LoRA模型进行图像生成时,在启动Stable Diffusion应用程序后,可以在界面中找到专门用于加载LoRA模型的相关设置项——即“lora选项标签”。在此处能够浏览到之前存放在本地磁盘上的所有可用LoRA模型列表,并可通过简单点击来选定想要使用的特定版本[^3]。 #### 调整模型权重 除了基本的选择操作外,还可以进一步微调所选LoRA模型的影响程度。这可以通过在配置参数里输入类似于`:X`(其中X代表任意正数)的形式实现,以此方式增加或减少该附加组件在整个推理过程中的贡献比例。 #### 技术原理概述 值得注意的是,LoRA的设计理念在于保持原有大型预训练网络结构不变的前提下,仅针对部分关键连接引入额外的学习机制。具体来说就是通过对某些全连接层实施低秩近似分解处理,使得这些区域具备更强的任务适应能力而不必重新训练整个庞大的基础架构[^4]。 ```python # Python伪代码示例展示如何动态修改LoRA权重值 def set_lora_weight(model_name, weight_value): """ 设置给定名称的LoRA模块的新权重 参数: model_name (str): LoRA模型的名字字符串 weight_value (float): 新设定的权重数值 返回: None """ # 假设此处存在与UI交互逻辑以及内部状态管理相关的代码... pass ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值