AI绘画lora模型篇,stable diffusion 生成模型基础知识,看完就会

AI绘画创作,训练Lora模型绘制你心中的童年爱豆漫画 ​ 准备训练用的Stable Diffusion的底层模型,尽量选祖宗级别的模型: 例如用SD 1.5、SD 2.1、NovelAI 原版泄露模型训练出来的 LoRA 会更通用,也可以用anything这种融合的模型,可能在此模型使用上比较好,切换到其他大模型就失去了通用性,具体选择看个人,我这里有anything-v5-PrtRE.safetensors模型,就用这个训练试试。 ​ 阅读详情

前言

前言

最近一直有粉丝在后台留言,说哪怕有完整的提示词信息,也无法对原始图片进行复原。其实如果想复原一张图片,需要用到的参数和注意事项比较多,另外就是即使你的生成参数完全一致,不同的显卡生成的图片也会有些微差别。不过如果你生成的图片差别太大,那肯定你遗漏了某些关键步骤。

今天我就带大家一步一步用lora生成一幅AI图片,把需要用到的注意事项尽量讲全,希望对大家有所帮助。

1、首先我们来到C站,这里有很多模型和带参数的图片,我们从中挑选一张进行复原。

找到一张图片点击进去,右上方是它用到的 lora ,点击下载,注意下载后保存的 lora名称。为什么要特别注意保存的lora名称呢?因为有时候提示词中的lora名称和你保存的名字称有一些不一样,一定要确保提示词中的名称和你保存名称的完全一致。

lora下载后放置路径为:*\stable-diffusion-webui\models\Lora

2、在参考图片的下方有这个图片的说明信息,要仔细阅读,从中我们能够发现一些有用的信息:

(1)这个图片使用了“Ulzzang-6500”和“ vae-ft-mse-840000”文件。

(2)标准版只使用了 1 个 lora 模型,lora推荐权重为 0.45-0.75之间。

(3)提示词中使用“yae_sakura”,会获得更好的效果。

3、下载“Ulzzang-6500”和“ vae-ft-mse-840000”文件

这两个文件的下载方法分别见下图中的红字部分,下载好后,“Ulzzang-6500”放置路径为:*\stable-diffusion-webui\embeddings\;VAE放置路径为:*\stable-diffusion-webui\models\VAE\。文件放好后,重新启动webUI。

下载UIzzang-6500


本文涉及模型、插件下载请扫描免费获取哦
在这里插入图片描述

下载vae

4、点开这个图片的提示词信息,右下角红框内是它用到的大模型名称,如果你没有这个模型,需要进行下载。

正常情况下需要用到的模型在C站都可以找到,不过这个模型比较例外,我在C站没有找到,好在我在抱脸网上找到了,只是名字有些不同,不知是它在命名时改了名字,还是这个模型有了新版本。

模型下载地址见下图中的红字部分,下载后放置路径为:*\stable-diffusion-webui\models\Stable-diffusion

5、下载参考图片,注意保存格式为png。

6、设置VAE文件

来到webUI工作台,设置–>stable diffusion,选择刚刚下载好的VAE文件,保存后重启。重启后最好再回来检查一下有没有正确设置。

7、将参考图片拖进webUI工作台的图片信息中,会自动识别生成参数,点击下方的文生图,会把所有参数信息自动填充到文生图中。

8、来到文生图界面,这时参考图片中所有的提示词信息全部自动填充好了,这时先要设置正确的大模型(见左上角,这个模型是我们刚刚从抱脸上面下载的),然后点生成按钮。

不过生成的图片和原始参考图差别太大,这并不是我们想要的效果。

9、指定lora。

其实我们仔细查看提示词信息,发现提示词里面并没有指定lora,我们得手动将 lora 添加进来,提示词中还可以添加“yae_sakura”。

记得我们前面讲过 lora 的推荐权重为 0.45-0.75 之间,自己设置好权重后点击生成按钮出图。

设置lora

最终生成的图片和参考图片已经很接近了,但仍有差别。

小结:影响图片效果的因素

前面我们说过,即使完全相同的参数,不同的显卡生成的图片也会有些微差别,那么除了显卡外,还有哪些因素会对最终出图会有影响呢,我以本图为例跟大家分析一下。

1、大模型。因为C站没找到参考图用的大模型,我们从抱脸网下载的大模型名字有些不同,有可能我们下载是同一系列不同版本的模型,会对最终出图有影响。

2、lora的推荐权重是0.45-0.75之间,我选择的是0.6,不同的权重值也会影响出图效果。

3、本图默认勾选了高清修复,高清修复中的重绘幅度值不同也会影响出图效果。

4、种子数。虽然我们没有对种子数更改,不同种子数对出图影响较大,这点在出图的时候要特别注意。

如何训练LorA

对于很多刚学习AI绘画的小伙伴而言,想要提升、学习新技能,往往是自己摸索成长,不成体系的学习效果低效漫长且无助。

如果你苦于没有一份Lora模型训练学习系统完整的学习资料,这份网易的《Stable Diffusion LoRA模型训练指南》电子书,尽管拿去好了。

包知识脉络 + 诸多细节。节省大家在网上搜索资料的时间来学习,也可以分享给身边好友一起学习。

由于内容过多,下面以截图展示目录及部分内容,完整文档领取方式点击下方微信卡片,即可免费获取!
在这里插入图片描述

img

img

img

篇幅有限,这里就不一一展示了,有需要的朋友可以点击下方的卡片进行领取!
在这里插入图片描述

AI绘画之SD从入门到放弃--Lora模型 大家好,我是卡狄。昨天我们共同学习了Stable Diffusion的UI界面和提示词的写法,最简单的文生图已经算基本掌握了。今天我们在优化一下,加上Lora模型来尝试一下会有什么不一样的效果。在学习之前我们先来简单看一下SD中可以看到的几种模型。1.嵌入式(TI.Embedding):不常用,字面意思是文字嵌入,在check point模型的基础上训练来的,特点是文件格式是pt,体积一般只有几十kb,特别小。这类模型要放到\embeddings文件夹内。 阅读详情

相关推荐

Stable Diffusion XL之使用Stable Diffusion XL训练自己的AI绘画模型

其中config_file.toml文件中的配置文件包含了sdxl_arguments,model_arguments,dataset_arguments,training_arguments,logging_arguments,sample_prompt_arguments,saving_arguments,optimizer_arguments以及additional_network_arguments九个个维度的参数信息。但是切记不能在多尺度增强的时候将图片的主体特征裁剪掉(比如人脸,建筑等)。

weixin_43056275的博客 6345

AI绘画:Lora模型训练完整流程!

关于AI绘画(基于Stable Diffusion Webui),我之前已经写过三篇文章,分别是。整体来说还是比简单的,搞个别人的模型,搞个提示词就出图了。今天来一个有些难度的,自己训练一个LoRA微调模型。

托尼不是塔克 2万+

Stable Diffusion webUI LORA模型(Yae Miko - Realistic Genshin)

来自 Genshin Impact 的逼真的 Yae Miko。所有样本均使用Ulzzang-6500 “嵌入”、“ vae-ft-mse-840000” VAE生成。 注意:使用additional-network webui插件来使用我的lora设置。 txt2img 的推荐权重 - 0.45-0.75,更高的权重可能会导致生成坏脸。 我认为如果您在未经许可的情况下使用真人面部制作任何作品/Loras/嵌入是违法的。 标准版只有 1 个 lora 模型工作得更好,不会丢失特征,但有时会过度拟合。 完整版使用更大的数据集并更好地与其他人脸 lora 模型配合使用,但缺少一些特征。

AI绘画软件Stable Diffusion的Lora模型详解与使用教程

Lora(Low-Rank Adaptation)是微软研究人员开发的一项技术,主要用于降低大语言模型(如GPT系列)和生成模型(如Stable Diffusion)微调的成本。Lora通过在预训练模型的基础上注入可训练的低秩矩阵,实现了对模型的快速且高效的微调,同时保持了与全模型微调相当的微调质量。StableDiffusion是一种基于潜空间扩散模型的文本到图像的生成模型。

Android 开发架构 1839

思科模拟器PT8.2实战:用MQTT协议搭建智能家居控制原型(附完整代码)

本文详细介绍了如何在思科模拟器Packet Tracer 8.2中,利用MQTT协议构建一个智能家居灯光控制原型。从环境准备、拓扑设计到MQTT代理配置,手把手指导您完成发布者与订阅者的Python代码编写,实现开关对LED的远程控制。通过此实战项目,您将深入理解MQTT协议在物联网中的核心应用,掌握从理论到实践的完整开发流程。

weixin_29281941的博客 361

Omnibox 2.11 NAS部署指南:家庭影音中枢的轻量化落地实践

家庭影音平台本质是本地化内容调度中枢,其核心在于聚合NAS媒体库、统一管理直播/IPTV/音频/视频等多源内容,并通过智能元数据匹配与硬解加速实现零门槛播放体验。技术原理上依赖Java轻量Web容器(Jetty)、SQLite嵌入式数据库双缓存架构,以及宿主机FFmpeg动态链接与HTTP/2直播代理治理能力。该方案显著降低4K播放卡顿、EPG加载失败、海报缺失等高频问题,适用于群晖、飞牛、绿联等主流NAS设备,尤其适配ARM64芯片与Realtek网卡等国产硬件生态。本文聚焦Omnibox 2.11在真实

weixin_30846347的博客 471

Stable Diffusion【模型篇】:LORA模型

SD的模型分为3大类:大模型、小模型、VAE模型。其中,小模型主要是指微调模型,而微调模型中,最重要的就是LORA模型。今天我们重点介绍一下LOAR模型,大家和我一起来看看吧。

m0_56144365的博客 1625

接口自动化测试如何做?测试老鸟总结,接口测试数据构造大全......

接口参数的数据获取:接口文档:接口文档通常会包含接口需要的请求参数和返回结果的格式、类型等信息;测试用例设计:根据测试用例设计的需求,可以确定需要哪些请求参数以及期望的响应结果;业务数据:从实际业务场景中获取数据,以确保测试数据的真实性和代表性;数据库:从数据库中获取数据,作为接口测试的输入参数;随机数据生成器:通过随机数据生成器生成测试数据,以增加测试用例的多样性和覆盖率。在选择数据来源时,需要根据具体情况进行选择。如果有可靠的接口文档,可以直接从文档中获取请求参数和预期结果;

798
上一篇: Al搞副业兼职,复制粘贴当搬运工,轻松日入100+!
下一篇: 程序员副业 | 首次尝试AI炼丹,效果拉满!
壹只小小码农
博客等级 码龄5年 8101粉丝 1334原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值