在本地跑一个AI模型(6) - Stable Diffusion模型微调

本文链接：https://blog.youkuaiyun.com/Android_XG/article/details/145683144

在本篇文章中，我们将介绍如何使用社区提供的LoRA对模型的输出进行微调。（有需要SD安装包以及lora模型的小伙伴文末扫码获取）

LoRA

LoRA（Low-Rank Adaptation）是模型训练中的一种模型微调技术，用于在少量数据上快速训练新的模型。LoRA通过冻结基础模型的大部分参数，只对少量参数进行微调来实现这一点。LoRA可以使生成的图片增加更多的细节，例如生成特定的角色、动作、背景等。它可以基于现有模型而不必从头开始训练，优点是训练时间短、占用内存少。因此在hugging face和Civitai上可以下载到大量社区提供的LoRA。

今天我们示例的LoRA如下：

国风插画
电影照片
像素风格
添加细节

请注意，在详情页关注Base Model选项，根据你运行的模型的Base Model选择合适的LoRA。比如，本文示例的模型为DreamShaper XL，因此选择LoRA时应该对应的Base Model为SDXL 1.0。这在上一篇文章中有提到。

基准图片

使用如下代码生成基准图片：

from diffusers import StableDiffusionXLPipeline, DPMSolverSinglestepScheduler
device = ‘mps’ pipe = StableDiffusionXLPipeline.from_single_file(
“your/path/dreamshaperXL_v21TurboDPMSDE.safetensors”, use_safetensors=True
).to(device) pipe.scheduler =
DPMSolverSinglestepScheduler.from_config(pipe.scheduler.config,
use_karras_sigmas=True) # Recommended if your computer has < 64 GB of RAM
pipe.enable_attention_slicing() prompt = “masterpiece, 1girl, long hair,
asian, sundress, cartoon, add detail” negative_prompt = ‘low quality, bad
quality, sketches’ image = pipe( prompt, negative_prompt=negative_prompt,
num_inference_steps=6, guidance_scale=2, ).images[0]
image.save(“data/out.jpg”)

注意提示词为一个穿背心裙的长发亚洲女孩（卡通风格），其它参数在上一篇文章中有介绍。

使用LoRA

首先在上面给出的网页上下载safetensors格式的LoRA文件，然后在代码中加上一行代码：

pipe.load_lora_weights(“your/path”, weight_name=“lora_name.safetensors”)

这里有两个参数，前面一个参数是LoRA所在的目录，第二个参数是LoRA的文件名。

此外，阅读LoRA详情页，一般作者都会提供触发关键词，如果作者未提供关键词，可能该LoRA会自动触发，也可以尝试在提示词中添加这个LoRA的名字。

接下来我们看下分别使用这4个LoRA的效果。

国风插画

触发关键词：guofeng或Chinese style。

电影照片

触发关键词：无（自动触发）。

像素风格

触发关键词：pixel。

添加细节

触发关键词：(add detail)++++++++。

总结

本文介绍了使用LoRA为本地Stable Diffusion模型进行微调，并介绍了如何下载和使用社区提供的已经训练好的LoRA。使用LoRA可以使生成的图片增加更多的细节。LoRA是Text to Image技术对提示词优化的一种补充。
AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，有需要的小伙伴文末扫码自行获取。

针对各位AIGC初学者，这里列举了一条完整的学习计划，感兴趣的可以阅读看看，希望对你的学习之路有所帮助，废话不多说，进入正题：

目标应该是这样的：

第一阶段（30天）：AI-GPT从入门到深度应用

该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识，同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。

-----------

GPT的定义与概述
GPT与其他AI对比区别
GPT超强记忆力体验
万能GPT如何帮你解决一切问题？
GPT表达方式优化
GPT多类复杂应用场景解读
3步刨根问底获取终极方案
4步提高技巧-GPT高情商沟通
GPT深度玩法应用场景
GPT高级角色扮演-教学老师
GPT高级角色扮演-育儿专家
GPT高级角色扮演-职业顾问
GPT高级角色扮演-专业私人健身教练
GPT高级角色扮演-心理健康顾问
GPT高级角色扮演-程序UX/UI界面开发顾问
GPT高级角色扮演-产品经理
GPT高级技巧-游戏IP角色扮演
GPT高级技巧-文本冒险游戏引导
GPT实操练习-销售行业
GPT实操练习-菜谱推荐
GPT实操练习-美容护肤
GPT实操练习-知识问答
GPT实操练习-语言学习
GPT实操练习-科学减脂
GPT实操练习-情感咨询
GPT实操练习-私人医生
GPT实操练习-语言翻译
GPT实操练习-作业辅导
GPT实操练习-聊天陪伴
GPT实操练习-育儿建议
GPT实操练习-资产配置
GPT实操练习-教学课程编排
GPT实操练习-活动策划
GPT实操练习-法律顾问
GPT实操练习-旅游指南
GPT实操练习-编辑剧本
GPT实操练习-面试招聘
GPT实操练习-宠物护理和训练
GPT实操练习-吸睛爆款标题生成
GPT实操练习-自媒体爆款软件拆解
GPT实操练习-自媒体文章创作
GPT实操练习-高效写作推广方案
GPT实操练习-星座分析
GPT实操练习-原创音乐创作
GPT实操练习-起名/解梦/写诗/写情书/写小说
GPT提升工作效率-Word关键字词提取
GPT提升工作效率-Word翻译实现
GPT提升工作效率-Word自动填写、排版
GPT提升工作效率-Word自动纠错、建议
GPT提升工作效率-Word批量生产优质文章
GPT提升工作效率-Excel自动化实现数据计算、分析
GPT提升工作效率-Excel快速生成、拆分及合并实战
GPT提升工作效率-Excel生成复杂任务实战
GPT提升工作效率-Excel用Chat Excel让效率起飞
GPT提升工作效率–PPT文档内容读取实现
GPT提升工作效率–PPT快速批量调整PPT文档
GPT提升工作效率-文件批量创建、复制、移动等高效操作
GPT提升工作效率-文件遍历、搜索等高效操作
GPT提升工作效率-邮件自动发送
GPT提升工作效率-邮件自动回复
GPT接入QQ与QQ群实战
GPT接入微信与微信群实战
GPT接入QQ与VX多用户访问实战
GPT接入工具与脚本部署实战

第二阶段（30天）：AI-绘画进阶实战

该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述，AI绘画的应用领域，PAI绘画与传统绘画的区别，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。