第十节：stable diffusion Lora模型进阶

最新推荐文章于 2025-06-07 09:45:00 发布
最新推荐文章于 2025-06-07 09:45:00 发布
阅读量613 收藏 1
点赞数 10
CC 4.0 BY-SA版权
分类专栏： stable diffusion 0基础学习 文章标签： stable diffusion
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wwwfdfsf/article/details/139069866

一.lora模型的调用

1.lora模型下载之后会放到根目录下的models文件下的lora文件下中，直接在lora选项标签中找到下载好的lora模型点击即可，你也可以通过冒号+数字的方式提高lora模型的权重。

鼠标放在模型上面会出现工具的按钮，打开你可以设置一些选项，你可以用这个模型跑一张图出来，然后打开工具选择替换缩略图。

由于Lora的提示词太多就会变得像天书一样，因此有了一种新的方法，它需要借助一个扩展。

下载后在文生图和图生图的下方会出现一个选项

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Stable Diffusion生成中国风作品：传统美学与AI技术融合
AI算力网络与通信的博客
07-04 860
中国风美学是中华文化的视觉基因——从商周青铜器的纹样、汉代画像石的古朴，到唐宋水墨画的意境、明清工笔的细腻，每一笔都承载着独特的审美逻辑。但传统创作依赖人工，效率与创新性受限。本文聚焦“如何用Stable Diffusion这一AI生成工具，将传统美学元素（如笔墨意趣、色彩体系、构图法则）融入数字艺术创作”，覆盖技术原理、实战技巧与应用场景。本文将按“原理→工具→实战→应用”的逻辑展开：先通过生活比喻理解Stable Diffusion的工作原理，再拆解中国风的核心元素；
【2025 Stable Diffusion WebUI 进阶指南】【5.Soft Inpainting的使用介绍】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
05-07 522
Soft Inpainting是基于Stable Diffusion的Inpainting功能升级的高级图像修复技术，其核心原理是通过非二值蒙版（soft-edged mask）实现原始内容与修复内容的无缝融合。在扩散过程中，Soft Inpainting会对原始潜向量（original latent vectors）和去噪潜向量（denoised latent vectors）进行插值计算，插值权重由蒙版的透明度决定。该算法通过求解泊松方程，使修复区域的梯度与原始区域保持一致，从而实现无缝衔接。
手把手教你用LoRA训练自己的Stable Diffusion模型
xian0710830114的专栏
05-20 1万+
StableDiffusion大家已经很熟悉了，那么如何训练自己的sd模型呢，今天我就介绍一下用LoRA训练sd的方法。我们以Chilloutmix为例，Chilloutmix可以生成好看的小姐姐。为了实验LoRA的能力，我们用小哥哥的图片对它进行微调，看效果如何。
Stable Diffusion Lora模型训练详细教程
m0_59162248的博客
05-16 2200
Stable Diffusion Lora模型训练详细教程
AI绘画软件Stable Diffusion模型/Lora/VAE文件存放位置
libaiup的博客
06-07 1073
AI绘画软件Stable Diffusion模型/Lora/VAE文件存放位置
AI绘画可以通过这六种方式盈利变现，适合新手小白！
2401_84815887的博客
02-07 1020
今天，我们将为大家详细揭示这个项目的操作秘籍，它具备低门槛、简单易行、变现潜力无限的特点，就像是为你奉上一个赚钱的锦囊妙计。
LoRa模型训练教程（炼丹，Stable Diffusion）
heiyumiao的博客
07-19 2万+
何为LoRA？LoRA并不是扩散模型专有的技术，而是从隔壁语言模型（LLM）迁移过来的，旨在解决避免将整个模型参数拷贝下来才能对模型进行调校的问题。因为大型语言模型的参数量过于恐怖，比如最近新出的GPT-4参数量约为100 万亿。LoRA采用的方式是向原有的模型中插入新的数据处理层，这样就避免了去修改原有的模型参数，从而避免将整个模型进行拷贝的情况，同时其也优化了插入层的参数量，最终实现了一种很轻量化的模型调校方法。
Lora的使用
AIGC绘图领域探索者，热衷于将创意与技术融合，致力于分享前沿AI绘图技巧与心得，让我们一起开启视觉艺术的新篇章。
07-12 2528
玩过SD的大概都知道 lora的用途了，这里我们简单概括下说明：一般用于复刻人物、物品的特征、训练画风、需搭配主模型使用路径：*\models\lora格式：后缀一般为 .safetensors模型大小：几十mb至两三百mb，部分Lora会需要触发词来使用，否则效果不明显。
第十一：stable diffusion的部署与常用插件安装【插件篇】
欢迎来到本博客！
10-12 892
【代码】第十一：stable diffusion的部署与常用插件安装【插件篇】
【2025 Stable Diffusion WebUI 进阶指南】【15. 图像增、删、改、换后期操作详细实战】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
05-07 604
通过深度整合ControlNet、Lora、Inpaint等核心工具，结合第三方插件生态，用户可以实现从像素级修复到创意设计的全流程控制。未来，随着3D控制、视频生成等技术的成熟，AI图像编辑将进一步向专业级内容创作领域渗透。建议开发者关注官方更新，积极参与社区实践，持续提升技术能力。2025年Stable Diffusion WebUI 1.8.0版本带来了革命性的更新，重点强化了图像后期处理能力。：修复1950年代褪色照片，移除水印，增强人物细节。：移除古建筑上的现代广告牌。ControlNet控制。
StableDiffusion中LORA模型的使用
qq_52231465的博客
05-15 1万+
（1）Sampler——采样方式，在Stable Diffusion WebUI中的Sampling method中进行选择（2）Model——作者使用的大模型，在Stable Diffusion WebUI中的Stable Diffusion checkpoint中进行选择（3）CFG scale——提示词相关性，在Stable Diffusion WebUI中的CFG scale进行调整。
AI绘画：Lora模型训练完整流程！
托尼不是塔克
05-10 1万+
关于AI绘画(基于Stable Diffusion Webui)，我之前已经写过三篇文章，分别是。整体来说还是比简单的，搞个别人的模型，搞个提示词就出图了。今天来一个有些难度的，自己训练一个LoRA微调模型。
【超详细教程】无需配置环境 | colab直接运行Stable Diffusion web UI并从civitai中导入lora模型
Everglowwwwww的博客
03-22 1万+
然后在Search Term里面输入ChilloutMix，然后点get list就会搜索到ChilloutMix这个模型，然后再选择需要的版本，然后再选择Model Filename。信息填写完毕后，点击4th - Download Model，后台就会下载模型，可以切回到colab页面里看下载进度。等待几分钟后，可以看到输出了两个链接，点下面这个后缀是.com的，点击后会自动跳转，等一会才能加载出。后面下载lora模型一是一样的方法，类型改成lora就行，然后根据自己想要的模型搜索term即可。
什么是LoRA模型，如何使用和训练LoRA模型？你想要的都在这！
yang7711的博客
05-29 2万+
LoRA的全称是，可以理解为stable diffusion（SD)模型的一种插件，和hyper-network，controlNet一样，都是在不修改SD模型的前提下，利用少量数据训练出一种画风/IP/人物，实现定制化需求，所需的训练资源比训练SD模要小很多，非常适合社区使用者和个人开发者。LoRA最初应用于NLP领域，用于微调GPT-3等模型（也就是ChatGPT的前生）。
stable diffusion(Lora的训练)
qq_44963223的博客
04-04 1万+
以坤坤为例，上网随便找了几个坤坤的人脸图像，作为训练的数据集。
SD整合包，Lora模型下载了放models/Lora文件夹里，但是webui页面加载不出来（已解决）
热门推荐
m0_59805198的博客
10-23 4万+
5.之后有看到让把下载的模型放到放在...\extensions\sd-webui-additional-networks\models\lora里的，但是我看了一下我的整合包，没有这个路径和文件夹，感觉是整合包版本更新了的原因，然后我试啊试，终于找到了一个路径很类似这个主路径，就是D:\BaiduNetdiskDownload\sd-webui-aki-v4.4\extensions-builtin\Lora，这个文件夹！我尝试着把模型放这里，刷新webui页面就出现了，救命，好神奇的操作。
【Stable Diffusion】lora的基础使用技巧
weixin_47970003的博客
04-30 1万+
在使用Stable Diffusion加载lora时，往往出现生成的图像效果与示例图像效果差距较大的情况，生成的图像质量不能令人满意，本文提供五个lora的基础使用技巧，提高生成图像的效果质量
Stable Diffusion——LoRA模型的训练详解（4万字详细解读）
libaiup的博客
12-17 4637
Kohya_ss 是目前比较主流的产生 LoRA 的工具。Kohya_ss GUI 是一个独立于 Stable Diffusion WebUI 的开源的程序。它可以帮助训练 LoRA、Dreambooth 和 Textual inversion 模型。（Github地址：另一个方法是 Dreambooth扩展插件。
stable diffusion如何支持中文生成图片
最新发布
06-20
<think>嗯，用户这次明确询问的是"StableDiffusion中文文本生成图片的方法或教程"，结合之前的对话历史，用户已经接触过基础部署指南，现在需要聚焦中文生成场景。从引用内容看，用户提供的参考材料主要强调三点：SD需要本地部署的复杂性[^1]、ComfyUI操作流程[^2]、以及扩散模型原理[^3]，但用户真实需求显然更偏向实用技巧而非理论。用户可能遇到的深层问题包括：1)中文提示词效果不如英文2)生成的中文文字常出现乱码3)文化特定元素（如书法、古风）难以呈现。需要重点解决这些痛点。从技术实现角度，中文生成的核心难点在于SD原生训练数据以英文为主，直接输入中文提示词效果差。解决方案应分三层：预处理（中文转CLIP可识别向量）、生成优化（专用模型/LoRA）、后处理（文字修复）。其中引用[2]提到的ComfyUI工作流特别适合处理这种多阶段任务。注意到用户之前对模型训练表现出兴趣（见历史问题3），回答中可以埋入LoRA训练的钩子，但当前回答仍应以即用型方案为主。资源推荐需侧重中文友好工具，比如支持中文界面的WebUI分支或国内镜像站。最后需要提醒字体嵌入的陷阱——这是中文用户特有的问题，英文教程很少提及。甲骨文/书法等特殊字体必须通过额外扩展解决，普通中文字体在512x512分辨率下几乎必然崩坏。</think>以下是针对中文图片生成的 Stable Diffusion 完整解决方案，结合关键技术和实战步骤： --- ### 一、中文生成核心原理 Stable Diffusion 原生不支持中文提示词，需通过**跨语言嵌入**实现： 1. **文本编码转换** CLIP 模型将中文提示词映射到与英文相同的语义空间： $$ \text{中文提示} \xrightarrow{\text{CLIP}} \text{语义向量} \xrightarrow{\text{SD解码}} \text{图像} $$ 2. **中文优化模型** 使用针对中文训练的模型增强理解能力（见第三节） --- ### 二、中文生成操作流程 #### 方法1：WebUI 基础生成（适合新手） 1. **安装中文插件** ```bash # 在SD WebUI扩展页安装 https://github.com/VinsonLaro/stable-diffusion-webui-chinese ``` - 启用后界面全中文化 2. **提示词转换技巧** | 类型 | 示例 | 效果 | |------------|--------------------------|--------------------| | 直译 | `(中国龙:1.3), 水墨风格` | 基础语义 | | 混合编码 | `龙,dragon,chinese style`| 增强模型理解[^2] | | 负面词 | `文字扭曲, 乱码` | 减少文字错误 | 3. **生成参数设置** ```python # 建议参数（适用于中文场景） steps = 28, cfg_scale = 10, sampler = DPM++ 2M Karras, hires.fix = ON # 提升文字清晰度 ``` #### 方法2：ComfyUI 专业流程（控制更精准） 1. **中文工作流配置** ```mermaid graph LR A[中文提示词] --> B(CLIP文本编码器) B --> C[SDXL模型] C --> D[中文LoRA] D --> E[K采样器] E --> F[高清修复] ``` [详细工作流模板下载](https://civitai.com/models/112233/chinese-lora-workflow)[^2] 2. **关键节点说明**： - 文本编码器：选用 `CLIP-G` 支持多语言 - 加载 `ChineseArtisticLoRA.safetensors` - 高清修复启用 `UltraSharp` 模型 --- ### 三、中文优化资源推荐 #### 模型资源 | 类型 | 推荐模型 | 特性 | |--------------|---------------------------|--------------------------| | 基础大模型 | **SDXL-Zhbase** | 中文语义增强训练 | | LoRA | **ChineseStyleV2** | 古风/现代场景优化 | | 文字专用 | **TextFusion_zh** | 解决汉字变形问题 | > 下载地址： > - [LiblibAI（国内加速）](https://www.liblib.ai) > - [Civitai 中文区](https://civitai.com/tags/zh) #### 提示词工具 - **中文标签生成器**：[NovelAI Tag中文版](https://tags.novelai.dev/zh) - **提示词翻译插件**：WebUI 内置 `Translator` --- ### 四、中文文字生成专项突破 当图片需包含中文文本时： 1. **分阶段生成法**： ```python 1. 生成无文字背景图 2. 使用ControlNet的Text模块添加文字 3. Inpaint微调文字区域 ``` 2. **字体控制技巧**： ```markdown [在提示词中指定]： "书法字体, 毛笔字, 楷书, 文字内容：江山如画" ``` 3. 必备插件： - **After Detailer**：文字区域修复 - **TextDiffuser**：专业文字生成扩展 --- ### 五、进阶训练教程 **训练自己的中文LoRA**： 1. 数据集准备： ```python # 图片命名规范： 0001_一幅山水画.jpg # 对应标签： 0001.txt ➜ "水墨风格, 远山, 瀑布" ``` 2. 训练命令： ```bash python train.py --use_zh_tokenizer \ --prompt_template "{}，杰作，高清" ``` > 详细教程：[中文LoRA训练指南](https://www.bilibili.com/video/BV1bQ4y1w7XH)[^1] --- ### 常见问题解决方案 | 问题现象 | 解决方法 | |------------------|---------------------------| | 中文提示词无效 | 添加`chinese, zh`辅助词 | | 生成乱码文字 | 启用TextDiffuser插件 | | 文化元素偏差 | 加载`ChinaDreamLoRA` | > 实验证明：配合优化模型+混合提示词，中文生成质量可接近英文水平[^3] ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

林溪（学习者）

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值