【Stable Diffusion】:SDXL1.0大模型的发布给SD带来全新的使用体验

SDXL1.0大模型的发布能给Stable Diffusion带来全新的使用体验吗? (全套教程文末领取哈) 阅读详情

1.Stable Diffusion XL模型是什么?

SDXL是stabilityai公司推出的最新的图像大模型,可以使用stable diffusion生成Ai图像,SDXL模型与之前的Stable Diffusion v1-v2.1模型相比,使用难度更低,训练参数更大,获得的效果更好。

2.Stable Diffusion XL模型更新了什么?

我将SDXL模型的更新归为两点:更大,更好用。

2.1.【更大】直接输出更大分辨率的图片

SDXL一般使用1024x1024分辨率的图片进行训练,所以直接生成的图片分辨率建议最小也使用1024x1024像素,能生成的图片更加清晰了。之前的模型因为训练所使用的素材以512x512像素,所以在直接输出高分辨率的图片的时候会出现多个主体人物的错乱,是因为ai错以为是在同时输出多张图片。
在这里插入图片描述

而现在可以直接生成1000像素以上的图片,也不会出现错乱的问题。
在这里插入图片描述

图片分辨率的上升带来的图片细节质量的上升,相信之后以sdxl模型能够制作出效果更加惊人的ai图像。

2.2.【更好用】直接输出带文字的图片

首先它最大的更新就是可以直接生成带有文字的图片了,在这之前的任意Ai绘画大模型中,这是不可能实现的,生成的文字部分会出现像字但又不是字的符号。

在这里插入图片描述

现在你可以在提示词中使用“某物品上面写着某某文字”的句式,让SDXL生成出来的图片包含你想要的文字。我尝试了一下,生成的效果越来越接近及格线。

在这里插入图片描述

SDXL能够率先达到文字内容呈现的能力是大幅领先其他ai绘画模型的原因,这个能力的影响我相信是深远的,突破了文字生成的难题,会激活ai生成在更多领域的创新。

2.3.【更好用】更精准的人体解剖结构

SDXL模型能生成更加精准的人体解剖结构,在一定程度上解决了生成的人物有多余的肢体和面部变形的问题。在之前生成的ai人物很容易出现手部错乱,面部扭曲,多胳膊少腿的情况。

在这里插入图片描述

并且想要解决“画手”的难题,需要添加大量的负面提示词,嵌入式模型甚至还需要调用插件,才能保证出图的手不出现严重扭曲。但是现在根据我的测试,sdxl已经初步能够识别人体结构特征了。或许以后我们再也不能通过“手”来辨别一张图是否是ai生成的了。

在这里插入图片描述

2.4.【更好用】同一模型能生成更多的艺术风格

在这里插入图片描述

SDXL模型提供更多的艺术风格。SDXL模型是接近现实世界的照片风格,但是你可以通过提示词的描写轻松的对风格进行修改。根据官方的描述中,至少有十余种风格可以自由切换,
其中包含:无风格、增强、动漫、摄影、数字艺术、漫画书、幻想艺术、模拟电影、霓虹朋克、等距、低聚、折纸、线条艺术、工艺粘土、电影、3D 模型和像素艺术。
以前想要对风格进行切换必须通过下载微调大模型或者lora,之后或许就和midjourney一样操作便捷根本不需要再来回切换模型了。

2.5.【更好用】写提示词更容易了

官方的SDXL模型开始支持使用自然语言写提示词。自然语言可以简单理解为日常说话用的句子,而之前由单词组成的提示词称为tag。
在这里插入图片描述

但是具体之后的sdxl大模型是不是都使用自然语言描述,还需要看训练模型的作者使用是哪种方式。
之前想要输出一张能够看的过去的图片,需要添加许多质量相关的提示词,比如高分辨率,最高质量,4k壁纸等等。
SDXL支持非常少的提示词进行描述,不需要添加过多的质量提示词。
比如简单输入这串提示词【Astronauts standing on the moon, stars, beautiful(一个宇航员站在月球上,星星,漂亮)】,就能出现还不错的效果,如果使用SD1.5和2.0效果却不尽人意。

在这里插入图片描述

这也将逐渐降低sd写提示词的难度,或许之后新接触sd的同学再也不用为了写tag而头疼不已。虽然sdxl大模型有这么多优点,但是他现在还不能在大家普遍使用的webui上发挥他全部的能力,
一是因为配套的插件还不能完全适配,其中就包含最常用的controlnet。
二是因为SDXL相关的微调模型还不是那么多,具体到相关行业的模型更是需要时间的沉淀。
很多博主建议等到SDXL模型的生态健全了再进行使用,我却认为优先熟练掌握SDXL模型的知识,具备先发优势,等到生态健全了,便可无缝切换到新的工作流程中。

3.Stable Diffusion XL模型使用要求

3.1.硬件要求:

显卡最低要求8G显存,推荐使用12G显存以上的N卡。可以使用A卡,但是运行速度会很慢。
内存最低要求32G,内存越多越好。
对CPU没有具体的要求。

3.2.软件要求:

webui需要更新到1.5及以后的版本。

4.Stable Diffusion XL模型下载

SDXL大模型分为两个部分,base和refiner,还有一个配套的vae可以选择性的下载。

在这里插入图片描述

官方发布的模型下载地址: 、

sdxl-base页面:https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
sdxl_refienr页面:stabilityai/stable-diffusion-xl-refiner-1.0 · Hugging Face
sdxl_vae页面:stabilityai/sdxl-vae · Hugging Face

国内下载模型的地址:

sdxl-base页面:Stable Diffusion SDXL 正式版|LiblibAI
sdxl_refienr页面:Stable Diffusion SDXL refiner|LiblibAI
国内缺失了vae的下载链接,如果有需要的网盘自取(二选一即可):
夸克网盘:链接:https://pan.quark.cn/s/78ef35832fb3 提取码:PpVL
百度网盘:链接:https://pan.baidu.com/s/1bKAYNU9yI1vn4pIIQlEjAQ?pwd=mfhi 提取码:mfhi

还有一个非常推荐的插件需要下载:refienr插件

由于使用SDXL模型需要在base模型和refiner模型之间来回切换,这个插件可以省去你来回切换base和refiner模型之间的时间。启用之后会自动进行精炼步骤,不用到图生图中切换refienr模型了。
下载链接:
GitHub - wcde/sd-webui-refiner: Webui Extension for integration refiner in generation process
将以上网址复制到webui/扩展/从网址安装/扩展的git仓库网址中,点击安装即可。

在这里插入图片描述

5.Stable Diffusion XL模型使用

根据官方的文档中的建议,使用base模型进行文生图的输出,再将输出的图使用refiner模型在图生图中进行精炼处理,以获得更好的图片效果。
现在我们开始操作,在左上角选择base模型,vae选择“无”或者“SDXL_VAE”。

在这里插入图片描述

在写提示词的时候和其他大模型只有一点不同就是可以根据模型作者的建议,使用更简短的自然语言进行描写,并且用风格提示词对画面风格进行描述即可。
分辨率最小使用1024乘1024分辨率,采样部署可以根据你的电脑配置适当提高一些,一般使用20到50步,采样方法建议使用DPM++2M karrass或者其他DPM++采样器。

在这里插入图片描述

refiner插件点击启用,精炼步骤根据你电脑的配置调整到10到20。然后直接点击生成即可。

在这里插入图片描述

当然,如果觉得使用base模型输出的图片结果已经满意,可以不使用refienr模型进行精炼。

在这里插入图片描述

6.在线使用SDXL模型的方法

如果想要在线使用sdxl有三个途径,
第一是在国内的liblibai上体验,和本地部署的sd差别不大,每天至少有100次免费生成的机会。
哩布哩布Ai在线体验:https://www.liblibai.com/
第二个是到Stability AI公司推出的clipdrop上进行生成,每天免费400张图像,虽然需要排队但是出图很快大概20秒就能够输出4张。
clipdrop体验sdxl:https://clipdrop.co/stable-diffusion
第三是dreamstudio,有一定的免费额度,用完之后需要按生成数量付费购买。
dreamstudio网址:https://beta.dreamstudio.ai/generate

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

为什么使用SDXL-学习笔记 SDXL的主要特点,为以后学习做准备 阅读详情

相关推荐

SDXL1.0大模型安装与使用

使用 Stable Diffusion XL,您可以使用较短的提示创建描述性图像,并在图像中生成文字。该模型在图像生成功能方面取得了重大进步,提供了增强的图像合成和面部生成功能,从而产生令人惊叹的视觉效果和逼真的美感。(但是,可能是后续的事)更高水平的照片级写实能力图像合成和人脸生成使用较短的提示来创建描述性图像生成清晰文本的能力更强丰富的视觉效果和令人惊叹的美学。

天风的人工智能博客 7149

Stable Diffusion XL(SDXL)核心基础知识

如图所示,相比之前的SD,SDXL的第一个stage采用的是普通的DownBlock2D,而不是采用基于attention的CrossAttnDownBlock2D;SDXL的autoencoder依然采用KL-f8,但是并没有采用之前的autoencoder,而是基于同样的架构采用了更大的batch size(256 vs 9)重新训练,同时对模型的参数采用了EMA(指数移动平均),从而改善生成图片的局部和高频细节。SDXL的解决方案:图像裁剪参数条件化策略。SDXL的解决方案:多尺度训练策略。

weixin_47748259的博客 1万+

Stable Diffusion ——— LDM、SD 1.0, 1.5, 2.0、SDXL、SDXL-Turbo等版本之间关系与原理详解

假设你有一个自定义的数据集和标签train_dataset = ... # 你的训练数据集eval_dataset = ... # 你的验证数据集# 加载基础模型# 配置训练参数# 创建 Trainer# 开始训练Stable Diffusion 作为一种强大的图像生成模型,通过不断迭代更新,逐步改进其生成能力和适应性。理解各个版本之间的关系及其背后的原理,不仅可以帮助开发者更好地使用这些模型,还能够为定制和优化模型提供思路。

小蜗牛的珍贵百宝箱 2284

SDXL和SD的10大区别!你知道几个?

SDXL全称 stable diffusion XL,而 SD 全称为 stable diffuson。现在一般将 SD 和 SD 1.5 等同,并将基于 stable diffusion 模型进行微调的模型也称为SD模型。因此需要指明的是,在这篇文章中,SDXL 指的是 stable diffusion XL 1.0,而 SD 则指的是 SD1.5 及基于 SD1.5 微调的模型。SDXL 和 SD 的区别主要体现在以下10个方面(看不懂下面的图可以略过…,只是为了严谨)。1、。

libaiup的博客 2748

使用 Stable Diffusion XL 和 SDXL LoRA,ControlNet 生成图片

Stable Diffusion XL 是由 Stability AI 创建的一种新的图片生成模型。和之前的 Stable Diffusion 1.5 模型相比它主要做了以下的优化或者增强:1)对于原有 Stable Diffusion 1.5 的 U-Net,VAE,CLIP Text Encode 做了改进;2)在原有模型基础上上增加了一个 Refiner 模型,通过 Refiner 模型来提升图片的精细程度;

大模型 1730

CMAC算法原理

2、K1 通过以下运算导出:若 L 的最高有效位等于 0,则 K1 是 L 的左移 1 位。3、K2 通过如下运算导出:若 K1 的最高有效位等于 0,则 K2 是 K1 的左移 1 位。采用了 AES 算法中的类似 CBC 模式的加密方式,即对前一个分组的密文与当前分组的明文进行异或操作后在加密,2、分块处理:首先将消息分成多个固定长度的块,若消息长度不是块大小的倍数,则可以使用填充来将其填充到合适的大小。1、子密钥计算,通过主密钥生成子密钥(key1,key2),子密钥用于最后一个块处理;

sky的博客 1658

【Stable Diffusion】:SDXL1.0大模型的发布给SD带来全新的使用体验(附模型包)

SDXL是stabilityai公司推出的最新的图像大模型,可以使用stable diffusion生成Ai图像,SDXL模型与之前的Stable Diffusion v1-v2.1模型相比,使用难度更低,训练参数更大,获得的效果更好。

m0_58477260的博客 1821

.NET 4.0下HttpWebRequest请求HTTPS报错?试试这个注册表修改方案

本文深入解析.NET 4.0下HttpWebRequest请求HTTPS报错问题,提供注册表修改方案以解决'基础连接已经关闭'错误。通过调整SchUseStrongCrypto注册表项,强制使用TLS 1.2等现代加密协议,确保安全连接。适用于企业环境部署和长期维护建议。

weixin_29310631的博客 357
上一篇: 【Stable Diffusion】:原理、应用与未来展望
下一篇: Stable Diffusion:从入门到精通保姆级实战教程
大模型-小原
博客等级 码龄4年 2689粉丝 212原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值