Stable Diffusion小模型:Lora使用方法精讲

今天,我们将进入更深入的学习,包括如何使用触发词、参考作者参数进行生成,以及根据生成结果进行调整。

一、使用Lora的详细步骤

第一步:使用触发词

触发词是调用Lora时的关键。有时候,仅仅调用Lora可能不会产生预期效果,需要加入正面提示词来正确触发。例如,在生成图片时,除了使用权重和大模型外,还需要加入特定的提示词,如“full body”和“chibi”,以触发特定的风格。

img
有需要stable diffusion整合包以及提示词插件,可以扫描下方,免费获取

在这里插入图片描述

第二步:参考作者参数进行生成

在模仿作者生成的过程中,我们需要了解大模型、触发词,并参考作者使用的正面和负面提示词、CFG、种子和采样方法等参数。通过这些参数的一致性,我们可以复刻出几乎一样的图片。

img

第三步:根据生成结果进行调整

最后一步是根据生成的结果进行多方面的调整,包括模型、权重和各种参数,以达到我们想要的效果。

img

img

二、使用Lora的注意事项

在使用Lora的过程中,有几点需要注意:

  1. \1. 模型名称一致性:确保使用的Lora名称与本地保存的名称一致,否则可能无法正确调用。
  2. \2. 新手慎用多个Lora:使用多个Lora需要对Lora的底层原理有一定了解,新手建议先从一个Lora开始。
  3. \3. 生成图片作为提示图:可以将生成的图片设置为Lora的预览图,帮助更好地理解Lora的作用。

img

img

三、实际案例分享

接下来,我们将通过几个实际案例来展示Lora的实用性。

1、图片细节高清化

通过使用特定的Lora,我们可以增加图片的细节,提升质感。例如,在生成商品静物图时,加入细节增强的Lora可以使图片看起来更真实。

img

img

img

img

img

img

img

2、人物特征固定

在需要人物特征保持一致的场景中,可以使用特定的Lora来固定人物的脸型或衣着特征。

img

img

img

img

img

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费

在这里插入图片描述

### 如何在 Stable Diffusion 中加载和应用 LoRA 模型 #### 加载 LoRA 模型进行推理 为了在 Stable Diffusion使用预训练好的 LoRA 模型进行图像生成,通常需要通过特定接口加载这些模型。具体操作如下: 对于基于 Python 的实现方式,在调用 `diffusers` 库中的 `StableDiffusionPipeline` 类创建管道实例时,可以通过传递额外的关键字参数来指定要使用LoRA 权重文件路径。 ```python from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler import torch model_id = "runwayml/stable-diffusion-v1-5" lora_path = "./path_to_your_lora_weight.safetensors" pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16).to("cuda") # Load the LoRA weights into pipeline pipe.unet.load_attn_procs(lora_path) prompt = "A fantasy landscape with a castle on top of a mountain." image = pipe(prompt=prompt).images[0] image.show() ``` 这段代码展示了如何利用 Hugging Face 提供的工具链快速集成并测试自定义 LoRA 模型的效果[^1]。 #### 使用 LoRA 进行微调训练 当希望进一步优化现有的 LoRA 或者针对特定领域定制化开发新的 LoRA 时,则涉及到训练流程。这里介绍一种较为常见的做法——即采用 DreamBooth 方法结合 LoRA 技术来进行高效的小样本学习。 首先准备一组高质量的目标风格样例图集作为正向引导数据;其次设置好负向提示词帮助排除不想要的结果特征。接着按照官方文档指导配置环境变量与超参选项,并启动训练脚本完成整个过程[^2]。 值得注意的是,在选择初始的基础模型(底模)方面建议优先考虑那些广泛认可的经典版本而非经过多次迭代改进后的变体版本,因为后者可能会影响最终产出物的质量泛化能力[^4]。 最后值得一提的是,一旦完成了满意的 LoRA 训练成果之后还可以将其权重无缝融入到原始 SD 架构之中形成一体化的新版扩散网络结构以便于后续维护管理以及实际应用场景下的部署实施工作[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值