Stable Diffusion学习指南【模型篇】

RunDiffusion – 托管式SD绘画聚合云平台,OpenAI旗下产品, 整合所有Stable Diffusion绘画工具,不用再到处找云端了~ 具备最新稳定的Diffusion版本,私密的工作空间,集成文件浏览器,智能计时器等功能。比如说,在设计和创作领域,使用RunDiffusion可以快速生成多种不同的图像,帮助设计师创造出更具创意性的设计作品。(基于 Gradio)设计的平台,旨在提供易于开发、优化的资源管理和更快的推理速度。对于其他 WebUI,95% 的屏幕被输入和 5% 的图像占据,我的则相反。在广告企业中使用该工具还可以进行快速的创意制作,生成符合宣传需求的图像,提高广告效益。,同时确保更高级的用户拥有充分的灵活性。 阅读详情

(注:文末扫码获取AI工具安装包和AI学习资料)

模型作为机器学习后的结晶,可以说是对绘图画面影响最大的因素之一,一款好的模型即使不写提示词,出的图都会比绞尽脑汁编写咒语出的图更精美。但当我们兴致勃勃的下载了一堆模型后,往往会被一堆看不懂的文件后缀给乱花了眼,为什么模型要划分这么多类型、不同模型间有什么区别、新手如何判断一款模型的好坏?

今天我将带你深入学习StableDiffusion模型的类型、差异以及使用技巧,同时也能帮助你建立对开源模型的基础认知框架,全篇没有干货都是感情,快来看看吧~

以下是正文部分

01

模型的概念

先来看看模型在Stable
Diffusion中到底是什么概念?在维基百科中对模型的定义非常简单:用一个较为简单的东西来代表另一个东西。换句话说,模型代表的是对某一种事物的抽象表达
。

在AIGC领域,研发人员为了让机器表现出智能,使用机器学习的方式让计算机从数据中汲取知识,并按照人类所期望的方向执行各种任务。对于AI绘画而言,我们通过对算法程序进行训练,让机器来学习各类图片的信息特征,而在训练后沉淀下来的文件包,我们就将它称之为模型。用一句话来总结,模型就是经过训练学习后得到的程序文件。

和我们此前使用的资料数据库完全不同,模型中储存的不是一张张可视的原始图片,而是将图像特征解析后的代码,因此**模型更像是一个储存了图片信息的超级大脑,它会根据我们所提供的提示内容进行预测,自动提取对应的碎片信息进行重组,最后输出成一张图片。**当然,模型的实际运行原理要比这复杂的多,但作为使用者我们无需深入学习复杂的技术算法,了解其大概概念即可。

02

重新认识下官方模型

在之前的文章里,我为大家简单介绍了Stable
Diffusion模型的构成和运行原理,而在今天正式介绍模型类型之前,有必要带你重新认识下这款意义重大的官方模型。

不知你是否产生过这样的疑惑:如今市面上有如此多丰富的绘图模型,为什么Stable
Diffusion官方模型还会被大家津津乐道?当然除了它本身能力强大外,更重要的是从零训练出这样一款完整架构模型的成本非常高。根据官方统计,Stable
Diffusion v1-5 版本模型的训练使用了256个40G的 A100
GPU(专用于深度学习的显卡,对标3090以上算力),合计耗时15万个GPU小时(约17年),总成本达到了60万美元。除此之外,为了验证模型的出图效果,伴随着上万名测试人员每天170万张的出图测试,没有海量的资源投入就不可能得到如今的Stable
Diffusion。这样一款模型能被免费开源,不得不说极大地推进了AI绘画技术的发展。

按理说这么大成本训练出来的模型,绘图效果应该非常强大吧?但实际体验过的朋友都知道,对比开源社区里百花齐放的绘图模型,官方模型的出图效果绝对算不上出众,甚至可以说有点拉垮,这是为什么呢?

这里我们用ChatGPT来对比就很好理解了。ChatGPT的底层大模型是GPT模型,包括出道即巅峰的GPT3.5和后来火爆全网的GPT4,这些模型虽然包含了海量的基础知识,但并不能直接拿来使用,还需要经过人工微调和指导才能应用在实际生活中,而ChatGPT就是在聊天领域的应用程序。同理,Stable
Diffusion作为专注于图像生成领域的大模型,它的目的并不是直接进行绘图,而是通过学习海量的图像数据来做预训练,提升模型整体的基础知识水平,这样就能以强大的通用性和实用性状态完成后续下游任务的应用。

用更通俗的话来说,官方大模型像是一本包罗万象的百科全书,虽然集合了AI绘图所需的基础信息,但是无法满足对细节和特定内容的绘图需求,所以想由此直接晋升为专业的绘图工具还是有些困难。

StableDiffusion官方模型的真正价值在于降低了模型训练的门槛,因为在现有大模型基础上训练新模型的成本要低得多。对众多炼丹爱好者来说,**只需在官方模型基础上加上少量的文本图像数据,并配合微调模型的训练方法,就能得到应用于特定领域的定制模型。**一方面训练成本大大降低,只需在本地用一张民用级显卡训练几小时就能获得稳定出图的定制化模型,另一方面,针对特定方向训练模型的理解和绘图能力更强,实际的出图效果反而有了极大的提升。

03

常见模型解析

了解了官方模型的价值,下面我们再来正式介绍下平时使用的几种模型。根据模型训练方法和难度的差异,我们可以将这些模型简单划分为2类:一种是主模型,另一种则是用于微调主模型的扩展模型。

主模型指的是包含了TextEncoder(文本编码器)、U-net(神经网络)和VAE(图像编码器)的标准模型Checkpoint,它是在官方模型的基础上通过全面微调得到的。但这样全面微调的训练方式对普通用户来说还是比较困难,不仅耗时耗力,对硬件要求也很高,因此大家开始将目光逐渐转向训练一些扩展模型,比如Embedding、LoRA和Hypernetwork,通过它们配合合适的主模型同样可以实现不错的控图效果。

我们可以将主模型理解为一本面向特定科目的教材,而扩展模型则是针对教材内容进行补充的辅导资料或习题册。

我在下表中整理了常见模型的功能和特点差异,下面挨个为大家介绍。

3.1 Checkpoint

先来看看第一种模型:**Checkpoint模型,又称Ckpt模型或大模型。**Checkpoint
翻译为中文叫检查点,之所以叫这个名字,是因为模型训练到关键位置时会进行存档,有点类似我们玩游戏时的保存进度,方便后面进行调用和回滚,比如官方的v1.5模型就是从v1.2的基础上调整得到的。

Checkpoint模型的常见训练方法叫Dreambooth ,该技术原本由谷歌团队基于自家的Imagen模型开发,后来经过适配被引入Stable
Diffusion模型中,并逐渐被广泛应用。为了方便大家更好的理解各个模型之间的差异,我针对每种模型的训练过程整理了以下的示意图,下面是Dreambooth训练模型的过程:

简单介绍下Dreambooth训练模型的过程:

  1. 第一步:先为训练样本添加N步噪声得到【噪声图】

  2. 第二步:再为训练样本添加N-1步噪声得到【样本校准图】,这样比上面的【噪声图】会稍微清晰一点的

  3. 第三步:将【噪声图】和由【关键词XXX】生成的文本向量都输入到扩散模型中,得到【模型输出图】

  4. 第四步:将【模型输出图】和【样本校准图】进行对比,并根据差异值来微调扩散模型直到它可以将【关键词XXX】和【训练样本】之间进行关联

  5. 第五步:通过这样的训练方式,后续我们在输入【关键词XXX】时,模型就会绘制一张类似【训练样本】的图片了。

通过上面的训练过程我们不难看出,**Dreambooth训练模型是通过微调整个网络参数来得到一个完整的新模型。因此Ckpt模型可以很好的学习一个新概念,无论是用来训练人物、画风效果都很好。**但缺点是训练起来成本较高,正常来说从官方模型通过Dreambooth训练出一款Ckpt模型,预计需要上万张图片,并且模型的文件包都比较大(至少都是在GB级别),常见的模型大小有2G、4G、7G等,使用起来不够灵活。

需要注意的是:并非模型体积越大,其绘图质量就越好
。我们在模型社区里有时候会看到高达十几GB的Ckpt模型,但并非意味着这些模型就十分强大,因为除了通过Dreambooth训练,还可以通过模型融合的方法得到Ckpt模型,但**如果作者没有对模型进行优化处理,融合后的模型中会夹杂着大量的垃圾数据,**这些数据除了占用宝贵的硬盘空间外没有任何作用。关于模型融合的乱象是目前模型社区中不可忽视的问题,我会在文章结尾进行展开说明。

使用Checkpoint模型的方法也很简单,我们下载好模型文件后,将其存放到Stable Diffusion安装目录下\models\Stable- diffusion文件夹中。如果你是在WebUI打开的情况下添加的新模型,需要点击右侧的刷新按钮进行加载,这样就能选择新置入的模型了。

3.2 Embeddings

介绍完了主模型,下面我们再看看各种扩展模型,首先是最轻量的Embeddings模型。

虽然Ckpt模型包含的数据信息量很多,但动辄几GB的文件包使用起来实在不够轻便。比如有的时候我们只想训练一款能体现人物特征的模型来使用,如果每次都将整个神经网络的参数进行一次完整的微调未免有太过兴师动众,而这个时候就需要Embeddings闪亮登场了。

Embeddings又被称作嵌入式向量,在之前初识篇的文章里我给大家介绍了Stable
Diffusion模型包含文本编码器、扩散模型和图像编码器3个部分,其中文本编码器
TextEncoder的作用是将提示词转换成电脑可以识别的文本向量,而Embedding模型的原理就是通过训练将包含特定风格特征的信息映射在其中,这样后续在输入对应关键词时,模型就会自动启用这部分文本向量来进行绘制。

训练Embeddings模型的过程,由于是针对提示文本部分进行操作,所以该训练方法叫做Textual Inversion文本倒置,平时在社区中提到Embeddings和Textual Inversion时,指的都是同一种模型 。

如果你此前下载过Embeddings模型包,会惊讶的发现它们普遍都非常非常小,有的可能只有几十KB大小。为什么模型之间会有如此大的体积差距呢?类比来看,Ckpt像是一本厚厚的字典,里面收录了图片中大量元素的特征信息,而Embeddings就像是一张便利贴,它本身并没有存储很多信息,而是将所需的元素信息提取出来进行标注。在这个基础上,我们也能将Embeddings模型简单理解为封装好的提示词文件,通过将特定目标的描述信息整合在Embeddings中,后续我们只需一小段代码即可调用,效果要比手动输入要方便快捷上许多
。像我们平时头疼的避免错误画手、脸部变形等信息都可以通过调用Embeddings模型来解决,比如最出名的EasyNegative模型。

以守望先锋里人气角色
D.VA为例。对于该角色我们都有统一的外貌共识,比如蓝色紧身衣、棕色头发、脸上的花纹等,这些信息如果单纯通过提示词描述往往很难表达准确,而有了Embedding就轻松多了。可以看到调用了D.VA的Embedding模型后,即使是不同画风的主模型也都能实现比较准确的角色形象还原。

当然,Embedding也有自己的局限性。由于没有改变主模型的权重参数,因此它很难教会主模型绘制没有见过的图像内容,也很难改变图像的整体风格,因此通常用来固定人物角色或画面内容的特征
。使用方法也很简单,只需将下载好的模型放置到StableDiffusion安装目录下\embeddings文件夹中,使用时点击对应的模型卡片,对应的关键词就会被添加到提示词输入框中,这时再点击生成按钮便会自动启用模型的控图效果了。

3.3 LoRA

虽然Embeddings模型非常轻量,但大部分情况下都只能在主模型原有能力上进行修正,有没有一种模型既能保持轻便又能存储一定的图片信息呢?这就不得不提我们大名鼎鼎的LoRA模型了。

LoRA是 Low-Rank Adaptation Models的缩写,意思是低秩适应模型。LoRA原本并非用于AI绘画领域,它是微软的研究人员为了解决大语言模型微调而开发的一项技术,因此像GPT3.5包含了1750亿量级的参数,如果每次训练都全部微调一遍体量太大,而有了lora就可以将训练参数插入到模型的神经网络中去,而不用全面微调。通过这样即插即用又不破坏原有模型的方法,可以极大的降低模型的训练参数,模型的训练效率也会被显著提升。

相较于Dreambooth全面微调模型的方法,LoRA的训练参数可以减少上千倍,对硬件性能的要求也会急剧下降,如果说Embeddings
像一张标注的便利贴,那LoRA就像是额外收录的夹页,在这个夹页中记录了更全面图片特征信息。

由于需要微调的参数量大大降低,LoRA模型的文件大小通常在几百MB,比Embeddings丰富了许多,但又没有Ckpt那么臃肿。模型体积小、训练难度低、控图效果好
,多方优点加持下LoRA收揽了大批创作者的芳心,在开源社区中有大量专门针对LoRA模型设计的插件,可以说是目前最热门的模型之一。

那LoRA模型具体有哪些应用场景呢?总结成一句话就是固定目标的特征形象
,这里的目标既可以是人也可以是物,可固定的特征信息就更加保罗万象了,从动作、年龄、表情、着装,到材质、视角、画风等都能复刻。因此LoRA模型在动漫角色还原、画风渲染、场景设计等方面都有广泛应用。

安装LoRA模型的方法和前面大同小异,将模型保存在\models\Lora文件夹即可,在实际使用时,我们只需选中希望使用的LoRA模型,在提示词中就会自动加上对应的提示词组。

不同的是这里我们可以自行设置Lora在对画面的影响权重,关于控制权重的强调语法大家可以看之前的提示词篇教程,此外作者在模型介绍中大多也会提供推荐的权重数值作为参考。

需要注意的是,有些LoRA模型的作者会在训练时加上一些强化认知的触发词,我们在下载模型时可以在右侧看到trigger
word,非常建议大家在使用LoRA模型时加上这些触发词,可以进一步强化LoRA模型的效果。但触发词不是随便添加的,每一个触发词可能都代表着一类细化的风格。当然有的模型详情中没有触发词,这个时候我们直接调用即可,模型会自动触发控图效果。

有的trigger word触发词下面还有一栏Tag标签,这里表示的意思是模型在社区中所属的类目,只是方便大家查找和定位,和我们实际使用Stable
Diffusion并没有什么关系,无视即可。

3.4 Hypernetwork

接着,我们再来了解下 Hypernetwork模型 。它的原理是在扩散模型之外新建一个神经网络来调整模型参数,而这个神经网络也被称为超网络。

因为Hypernetwork训练过程中同样没有对原模型进行全面微调,因此模型尺寸通常也在几十到几百MB不等。它的实际效果,我们可以将其简单理解为低配版的LoRA,虽然超网络这名字听起来很厉害,但其实这款模型如今的风评并不出众,在国内已逐渐被lora所取代。因为它的训练难度很大且应用范围较窄,目前大多用于控制图像画风。所以除非是有特定的画风要求,否则还是建议大家优先选择LoRA模型来使用。

下面是Hypernetwork的安装地址,使用流程与LoRA基本相同,这里就不再重复演示了。

3.5 VAE

最后就是VAE模型了,在初识篇中我们有对它进行过简单介绍,它的工作原理是将潜空间的图像信息还原为正常图片。作为ckpt模型的一部分,VAE模型并不像前面几种模型用于控制图像内容,而是对主模型的图像修复。

我们在使用网络上分享的ckpt模型绘图时,有时候会发现图像的饱和度很低,呈现出灰色质感,但是加上VAE模型后图像色彩就得到了修正。因此很多人便以为VAE是一种调色滤镜模型,可以增强图像的显示效果,但其实这样的理解并不准确。

导致图像发灰的真正原因是主模型本身的VAE文件损坏,因此从潜空间恢复成正常图片时会存在图像信息缺失的问题,加上现在社区中很多模型都是从其他热门模型融合而来,如果初始模型的VAE文件有问题,就会导致融合后模型都出现图像发灰的情况,最典型的就是融合模型Anything4.5。

这种情况下一般都需要修复VAE才能使主模型恢复正常,但修复模型是个技术活,如果将所有模型都修复一遍未免成本过高,因此在WebUI中提供了外置VAE的选项,只要在绘图时选择正常的VAE模型,在图像生成过程中就会忽略主模型里内置损坏的VAE而使用外置模型,而这才是图像色彩被修正的真正原因。

但更换外置VAE并非是长久之计,有些模型在挂载外置VAE后反而会出现图像模糊或者错乱线条的情况(当然也是模型本身有问题)。此外,还有个问题是很多人将社区中现有的一些VAE重命名后加入自己模型来使用,这就会导致我们经常下载了多个重复的VAE模型,造成极大的资源浪费。我们可以在秋叶启动器中查看各个模型的Hash哈希值,它类似于模型的身份证号,无论是时间、创作者、训练机器的改变都会导致哈希值不同。因此如果2个模型的哈希值相同,说明它们本质上是同一个模型文件,只是修改了名字。

好在社区中目前大部分新训练的ckpt模型中VAE都比较正常,而对于有问题的模型,作者一般在介绍页中会附上他们推荐的VAE模型,当然也有一些可以通用的VAE,比如秋叶整合包里内置的【kl-f8-anime2】。

VAE模型的放置位置是在\models\VAE,因为是辅助Checkpoint大模型来使用,所以可以将大模型对应的VAE修改为同样的名字,然后在选项里勾选自动,这样在切换Checkpoint模型时VAE就会自动跟随变换了。

04

模型的功能类型

介绍了不同模型的特点和差异后,我们再回过头来看看目前社区模型的功能类型,从控图方向大致可以分为三类:固定对象特征、固定图像风格和概念艺术表达

**固定对象特征:**这里的对象既可以指人,也可以指物。以人物角色为例,模型在训练时只需学习人物的大致特征,比如外貌、服饰、发型、表情等,这些特征相对来说比较明确,比如金克丝标志性的蓝色麻花辫和萝莉身材、甘雨的兽角和蓝色头发等。因此,训练特定对象的模型训练起来相对更加简单。

**固定图像风格:**相较于明确的对象,图像画风包含更多的信息。最常见的如摄影风格、二次元卡通风格、2.5D风格等,这些绘图风格除了主体内容,还包括颜色、线条、光影、笔触等多方面的环境信息,且不同特征信息之间相互关联,共同组合成最终的图片。因此模型需要学习的内容更多也更加复杂。

**概念艺术表达:**概念艺术指的是将某一类比较抽象的事物通过具象化的表现手法进行展示,最典型的就是一直很火的赛伯朋克。这类艺术作品充斥着霓虹灯、机械科技、黑客等特征元素,但又没有具体的画风限制,既可以是二次元的卡通动漫风格,也可以是真实的人物场景。对于这类没有具体的对象特征,但又能被划分为同类型的艺术概念,模型在学习和理解上又上升了一层难度,目前在开源社区中可以完美表达这类概念模型比较少见,且基本都是Ckpt和LoRA模型。

当然,还有基于服饰、背景、人物动作、产品概念等更多模型功能的细分,这里的分类仅方便初学者对模型功能建立初步的认知。下图中整理了常见模型训练方法在功能类型和训练要求上的差异对比,大家可以作为模型学习的知识扩展,关于具体训练方法我自己目前学习的还不够深入,这里就先不做过多拓展啦~

05

模型的挑选和使用

在此前的文章里有给大家安利用于下载模型的社区网站,今天再给大家补充下如何挑选和使用合适的模型:

5.1 让人迷惑的文件后缀

之前如果大家有尝试过自行安装Stable
Diffusion模型,肯定遇到过被文件后缀弄混淆的情况,因为我们通常都习惯用后缀名来判断文件类型,比如后缀是*.psd的一般都是PS文件、*.fig则是Figma文件、*.pptx指的是Powerpoint文件等。

但Stable
Diffusion模型的文件后缀包括了*.ckpt、*.pt、*.pth、*.safetensors等各种类型,甚至WebUI中还可以保存成*.png和*.webp格式。如果你单纯想靠文件后缀来判断模型类型往往会被弄的一头雾水,因为这几种都是标准的模型格式,在Stable
Diffusion中并没有基于模型类型设置对应的文件后缀

。比如*.ckpt后缀的文件既可能是Checkpoint模型、也可能是LoRA模型或者VAE模型。

而不同文件后缀的区别在于:*.ckpt、*.pt、*.pth等后缀名表示的是基于pytorch深度学习框架构建的模型,因为模型保存和加载底层用到的是Pickle技术,所以存在可被用于攻击的程序漏洞,因此这几款模型后缀的文件中可能会潜藏着病毒代码。为了解决安全问题,*.safetensors后缀名的模型文件逐渐普及开来,这类模型的加载速度更快也更安全,这一点在safe后缀名上也能看出来。

但我们需要知道的是,这几种后缀名的模型差异仅限于保存数据的形式,内部数据实际上是没有太大区别的,因此不同模型间也可以通过工具进行格式转换。

平时我们使用时尽量选择 *.safetensors 后缀的模型
,并且在秋叶整合包中也有【允许加载不安全的模型】的开关选项,大家平时保持默认关闭状态即可。

当我们需要区分模型类型时,可以使用秋叶大佬开发的Stable
Diffusion模型在线解析工具,只需将模型文件拖入网页,即可快速分析出模型类型,并会贴心的附上安装地址提示和使用方法,并且该工具完全运行在本地,数据并不会上传到云端。

Stable Diffusion模型在线解析地址:https://spell.novelai.dev/

除了解析模型类型,该网站还有个非常好用的功能,就是可以读取Stable Diffusion生成图片的相关信息。只需将由Stable
Diffusion绘制的原图拖入页面中,即可解析出之前所使用的提示词、设置参数等信息,需要注意的是上传的图片必须是没有经过编辑的AI绘画原图。

5.2 如何判断模型质量

对大部分刚接触Stable
Diffusion的AI绘画爱好者来说,往往都是将出图好看作为判断模型好坏的唯一标准。但随着魔法水平的提升,你会发现社区中很多热门模型的绘图效果似乎都差不多,这是由于模型融合导致的同质化问题,有些模型基于相似程度甚至可以归为一个系列,比较常见的有橘子系列、蜡笔系列、Anything系列、Cf3系列模型等。

除此还有前面提到的垃圾数据,也是很多融合模型都存在的问题。如今,大多数开源模型平台都没有人工审核标准,导致乱七八糟的模型层出不穷,这个时候就需要魔法师拥有自行判断模型标准的能力。下面基于錾制千秋大佬整理的模型判断标准,给大家提供几点参考建议。

一般来说,业内可以被称得上优秀的模型至少需要满足以下几个条件:出图结果准确、没有乱加细节、图像正常、文件健康

  • **出图结果准确:**即模型对提示词识别的准确程度,优质模型能正确辨别提示内容中的重要内容并给予呈现

  • **没有乱加细节:**这里指的是图像中出现提示词没有提及的内容,当然这种情况无法完全避免,只能说越少越好。比如有的模型在作者刻意引导下只靠简单词汇就能绘制非常精美的人像图,但这些人物可以说千篇一律,风格完全被固定死,即使加上了LoRA也无法改变人物特征,会极大的影响提示内容的控图效果。

  • **图像正常:**图像的美感因人而异,但至少应保证出图结果稳定且正常,比如出图结果中没有线条错乱、五官扭曲等情况。

  • **文件健康:**这里就是前面提到的模型中没有额外的垃圾数据,且VAE文件正常,无需使用外置模型。

06

关于最新的SDXL

7月26日,Stability AI官网宣布开源了迄今为止最强的绘图模型—Stable Diffusion XL
1.0,很多人都在惊叹Midjourney的免费版平替要来了,为什么这款新模型会引起如此多热议,相较于之前版本又有哪些区别呢?

自去年8月Stable Diffusion V1发布至今,Stability已陆续推出过V1.X、V2.X、XL
0.9等多个版本,但除了一开始开源的初代版本外,后续版本似乎都没有像XL 1.0这样引起如此多热议,XL0.9也只是支持在ComfyUI上使用,而XL
1.0算是真正意义上大多数用户可以体验的全新旗舰版模型。完整的Stable DiffusionXL
1.0包含2个部分:Base版基础模型和Refiner版精修模型。前者用于绘制图像,后者用于对图像进行优化,添加更多细节。

下面先来了解下下本次Stable DiffusionXL 1.0发布后最让人关注的几点信息:

6.1 迄今为止最大的开源绘图模型

Stable DiffusionXL
1.0是目前世界上最大参数级的开放绘图模型,基础版模型使用了35亿级参数,而精修版模型使用了66亿级参数,要知道清华的LLM—ChatGLM也才6亿的参数量。巨量级参数带来的是出图兼容性大幅提升,Stable
DiffusionXL 1.0几乎可以支持任意风格的模型绘制,并且图像精细度和画面表现力也都得到了显著提升。

如今的Stable DiffusionXL甚至可以支持生成清晰的文本
,这是目前市面上绝大多数绘图模型都无法做到的。此外,对人体结构的理解也被加强 ,像之前一直被诟病的手脚错误等问题都得到了显著改善。

6.2 原生出图的分辨率超级加倍

在之前版本的Stable
Diffusion模型中,由于是采用512或768尺寸的图片进行训练,因此当初始图像超过这个尺寸就会出现多人多头的情况,但小尺寸图像又无法体现画面中的细节内容,因此此前的做法都是先生成小图,再通过高清修复等方式绘制大图。

但XL1.0 采用了1024
x1024分辨率的图片进行训练,这就保证了日后我们以同样尺寸绘制图像时再也不用担心多人多头的问题,可以直接绘制各种精美的大尺寸图片
(如果显卡算力跟得上的话~)。并且通过Refiner精修模型的二次优化,原生图像表现力也得到了显著提升。

6.3 更加智能的提示词识别

此前我们在绘制图像时通常需要添加“masterpiece”等限定词来提升画面表现力,而如今XL1.0只需短短几个词便能生成非常精美的图片。

更重要的是,新版XL对自然语言的识别能力大大增强。此前我们都是通过词组方式来填写提示词,对于图像中需要突出展示的内容我们也是手动添加括号来增强对应关键词的权重。而日后我们可能更多情况下都会使用自然语言,也就是连贯的句子来描述图像信息,Stable
Diffusion会自动识别关键内容给予呈现。简单来说,我们编写咒语的门槛会大大降低,只需简单的自然语言描述就能获得目标图像。

6.4 超丰富的艺术风格支持

旧版模型的默认绘图风格更倾向于真系系的照片摄影,而在最新的Stable Diffusion
XL1.0中提供了更加丰富的艺术风格选项,可以通过提示词在十余种不同风格间自由切换,包括动漫、数字插画、胶片摄影、3D建模、折纸艺术、2.5D等距风、像素画等超多选项。

结合目前大模型的发展方向来看,模型的真正精髓应该是贵精不贵多,完美的Stable
Diffusion模型应该是像Midjourney这样包罗万象、集百家之长的综合模型,而最新的XL1.0已经具备了这样的雏形,可以说代表了AI绘画领域的一个重要里程碑,配合丰富的开源插件生态,未来将有更多的玩法供广大魔法师们来探索。

目前Stable Diffusion
XL1.0在硬件兼容性上还没有做到完美适配,对硬件要求也比较高,所以暂时不建议大家直接下载到本地使用。目前各大社区都在积极响应SDXL微调模型的训练活动,相信几个月后我们的模型库就会迎来一次重磅更新。

目前不少社区平台都上架了在线使用SD绘画的功能,这里也为大家整理了一些可以免费体验SDXL的资源链接,具体的使用和操作方法看平台引导即可。

Discord官方社区:

https://discord.com/channels/1002292111942635562/1002292398703001601/1128053246133547118

SD旗下的AI工具Clipdrop:https://clipdrop.co/stable-diffusion

哩布哩布AI:https://www.liblibai.com/

吐司网:https://tusi.art/

07

对模型社区的思考

先来说下现实问题,我自己最近在使用SD出图时,发现开源社区里很多所谓顶流的绘图模型并不好用,除了几套固定的肖像图外没有太多发挥空间,尤其是配合角色形象的扩展模型使用时,大部分人物特征都直接失效了。后面去查找了资料发现了一些通用问题,以下内容仅是我个人意见,仅作参考。

以目前最火热的模型平台Civitai为例,C站一直以资源丰富、创作自由而闻名,但现实问题是很多时候我们难以分辨模型的真实质量。用户能看到所谓的模型效果图往往是作者出了千百张图后从中选择的最优解,模型画廊里用户反馈的图片很多时候也是多模型组合产出的结果,可以提供的参考价值有限。

其次,很多模型平台的流量推送逻辑是基于模型的更新速度,更新频繁的模型往往能获得更高热度。但问题是需要频繁更新的模型大多都是融合速成得来,因此后期需要经常调整,真正优质的模型反而更新频率很低,因为作者在一开始已经将模型训练的十分出色了。

最后是很多模型平台在发起的模型创作激励活动,这类活动的初衷是为了奖励优秀的模型创作者,促进开源模型社区的发展,是一项刺激AIGC领域发展的有益活动。但很多创作者通过快速融合来批量生产罐头模型薅羊毛,甚至为了冲榜可以炼制成千上万张人脸,毕竟好看的小姐姐谁不喜欢呢?但问题是国内AI绘画领域群体存在明显的信息断层,大部分人对模型好坏的判断标准都仅限于可以出美女图,导致这类模型越来越多。

综合以上问题,最终导致如今的模型社区呈现出劣币驱逐良币的现象,同质化模型遍地开花,而很多真正兼容性强、训练优秀的模型却很难被发现。

举个真实的例子,前面提到的GhostMix模型制作者GhostInShell,作为唯一一个在C站只发了一个ckpt模型就进入前十名的制作者,在非真人模型且不做任何擦边内容的前提下,纯靠模型的画面质量和极高的兼容性3个月内在C站上做到了历史全模型最高评价榜的第2名,下图中可以看到GhostMix模型超强的兼容性和精美的出图效果,且C站排名前十的非擦边模型Deliberate、ReV、DreamShaper都是类似的效果。

虽说如今国内模型圈的资源十分丰富,但距离百家争鸣的开源社区还有很长的路要走。如果所有人都在关注千篇一律的人像模型,迟早都会审美疲劳,而到那个时候又有谁愿意花费大精力训练优质模型呢?对此,我也希望国内社区平台可以规范优质模型的判断标准和激励制度,加强模型多维度能力的审核环节,流量扶持固然有助于新作品的曝光,但真正优秀的创作者也应被更多人看到。而我们作为魔法协会的一员,也需加强对相关知识的学习,共同维护健康良好的社区环境。

在今天的文章里没有涉及太多的实操案例,更多的是对目前模型知识的总结和反思,文中不少知识点都来自于开源社区中各位前辈的无私分享,非常感谢秋叶、錾制千秋、GhostInShell、落辰星等大佬为推动国内SD开源学习所做的努力。

希望通过这篇文章,可以帮助更多对Stable
Diffusion感兴趣的朋友建立从原理层到应用层的知识框架,并对未来AI绘画模型的发展有更加体系化的认知,如果你有更多对SD模型的想法也欢迎扫描二维码给我留言。

AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,无需自行查找,有需要的小伙伴文末扫码自行获取。
在这里插入图片描述

Stable diffusion 都支持哪些模型 Stable Diffusion 的模型种类繁多,涵盖了从基础到高级的多种需求,同时支持文本到图像、图像到图像、视频生成等多种任务。这些模型不仅在分辨率和细节上有所提升,还通过不同的技术优化了性能和适用性,满足了不同用户的需求。 阅读详情

相关推荐

〔024〕Stable Diffusion 之 模型训练 篇

教你如何快速炼出一炉好丹

国内某知名游戏公司小菜鸡工程师 4441

Stable Diffusion Lora模型训练详细教程

stable diffusion lora模型训练

程序员深度学习 5万+

SPSS实战:如何用Harman单因素检验搞定共同方法偏差(附完整操作步骤)

本文提供了一份详尽的SPSS实战指南,手把手教你运用Harman单因素检验来诊断共同方法偏差。文章从核心概念讲起,逐步详解数据准备、SPSS操作步骤、结果解读与报告撰写,帮助研究者快速掌握这一关键的数据质量控制方法,确保量化研究结论的可靠性。

weixin_29263201的博客 1715

Stable Diffusion官方模型下载地址

Stable Diffusion官方模型下载地址

m0_37850695的博客 2万+

南邮-软件设计实验(C++版)

南邮软件设计 A档 一、分数统计 课题内容:   设计一个分数统计程序。包括学生信息的输入输出以及排序。通过该课题全面熟悉数组、字符串、文件的使用,掌握程序设计的基本方法及友好界面的设计。 课题要求: (1)输入某班级学生的姓名、分数; (2)对(1)的分数进行降幂排列并输出; (3)具有输入输出界面。 示例代码: #include<bits/stdc++.h> using...

Dainelcw 1万+

摄像头模组CCM简介

摄像头模组,全称Camera Compact Module,简写为CCM。CCM 包含几大件: 镜头(lens)、音圈马达(VCM)、传感器(sensor)、软板(FPC)、图像处理芯片(DSP)。工作原理:物体通过镜头(lens)聚集的光,通过CMOS或CCD集成电路,把光信号转换成电信号,再经过内部图像处理器(ISP)转换成数字图像信号输出到数字信号处理器(DSP)加工处理,转换成标准的GRB、YUV等格式图像信号。摄像头模组主要由以下几个部分组成:镜头(Lens):将光线汇聚到图像传感器上。

m0_73482095的博客 1万+

如何训练一个简单的stable diffusion模型(附详细注释)

我们的训练计划是,取出这些输入图片然后对它们增添噪声,在这之后把带噪的图片送入模型。在推理阶段,我们将用模型的预测值来不断迭代去除这些噪点。在diffusers中,这两个步骤都是由 管理器(调度器) 来处理的。噪声管理器决定在不同的迭代周期时分别加入多少噪声。# 绘图查看输入 (x) 与噪声是如何在不同迭代周期中量化和叠加的# 使用noise_scheduler.add_noise功能来添加不同程度的噪声# 定义模型),),开始训练模型# 创建了一个对象,用于调度噪声的添加。

weixin_61165097的博客 1万+

SAP_SD模块销售开票计划预收款系统配置及前台操作说明

在 SAP SD 中,开票计划(Billing Plan)是一种允许根据时间节点或里程碑对销售订单进行分期开票的功能。其中最常见的一种应用就是预收款(Down Payment Billing),即在销售订单中直接定义某个百分比或金额作为预收款,系统在开票时自动生成预收账单。大额合同或长期项目型销售(先收 20%,交货前收 30%,交货后收 50%)。分期付款模式(分阶段收款)。必须预收款才能安排生产或交货的业务。后台路径:SPRO—销售与分享—销售—销售凭证—销售凭证项目—定义项目类别。

我小时候很黑的博客 1411

[深度学习]stable diffusion官方模型下载地址

由于老忘记下载地址还有官方给的下载地址我也是老找不到,因此放博客备份一下,同时也给有需要的人。

FL1623863129的博客 7831

Debezium报错处理系列之二十八: Expiring 1 record(s) for test-ts-0:120001 ms has passed since batch creation

Debezium报错处理系列之二十八: Expiring 1 record(s) for test-ts-0:120001 ms has passed since batch creation

zhengzaifeidelushang的博客 3290

在 SAP 中启用应收/应付“代扣税(Withholding Tax)”功能,本质上是激活并配置“扩展代扣税(Extended Withholding Tax)”模型

摘要:SAP中启用应收/应付代扣税功能需完成3个层级12个核心步骤:1)全局激活公司代码代扣税功能;2)配置代扣税规则、税率和科目,包括定义税种类型、代码、总账科目等;3)在供应商/客户主数据中关联代扣税设置。完成后系统可在发票或付款环节自动计算并过账代扣税,支持多税种并行计算和税率年度调整,最终生成税务报表。常见问题排查需检查公司代码激活状态和主数据配置。(149字)

金牌架构师 838

Stable Diffusion学习指南【模型篇】_stable diffusion 学习路径

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

2401_84760527的博客 1180

基于Python的MOOC课程评价爬取与分析系统设计与实现

本文详细介绍了如何使用Python最新技术栈构建一个高效的MOOC课程评价爬取与分析系统。系统采用Scrapy框架结合Selenium实现动态页面抓取,利用PyMySQL进行数据存储,并通过Pandas和Matplotlib实现数据可视化分析。文章从爬虫原理、技术选型、系统设计到代码实现进行全面讲解,为教育工作者改进教学质量提供数据支持。关键词:Python爬虫、MOOC评价分析、Scrapy框架、数据可视化、教学改进。

2201_76125261的博客 1103

万字干货!超全面的Stable Diffusion学习指南:模型篇

先来看看模型在 Stable Diffusion 中到底是什么概念?在维基百科中对模型的定义非常简单:用一个较为简单的东西来代表另一个东西。换句话说,模型代表的是对某一种事物的抽象表达。 在 AIGC 领域,研发人员为了让机器表现出智能,使用机器学习的方式让计算机从数据中汲取知识,并按照人类所期望的方向执行各种任务。对于 AI 绘画而言,我们通过对算法程序进行训练,让机器来学习各类图片的信息特征,而在训练后沉淀下来的文件包,我们边模型 Deliberate、ReV、DreamShaper 都是类似的效果。

m0_59162248的博客 2171

热力学仿真软件:SimScale_(1).SimScale入门与基础操作

导航栏:位于页面顶部,包含项目管理、仿真设置、结果分析等主要功能。项目列表:展示用户创建的所有项目。工作区:用于进行具体的操作,如几何建模、网格划分、边界条件设置等。控制台:显示操作日志和仿真进度。网格划分是将几何模型离散化为一系列小单元的过程,这些单元用于求解热力学方程。SimScale提供了多种网格划分方法,包括结构化网格和非结构化网格。SimScale提供了丰富的API接口,用户可以通过编程语言进行二次开发,实现自动化仿真和结果分析。项目管理:创建、删除和管理项目。几何建模:创建、导入和修复几何模型。

kkchenjj的博客 1876

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

关于Stable diffusion的各种模型,看这篇就可以了!

Stable diffusion的模型除了上述的分类之外,从用途上看,还分为官方模型、二次元模型(动漫)、真实系模型和2.5D模型四大类。4.1 官方模型官方模型有 1.X 和 2.X 两个大版本,目前在 1.X 中官方发布的有四个版本,分别是v1-1、v1-2、v1-3、v1-4。

libaiup的博客 2048

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

上一篇: Stable Diffusion【提示词】【视觉设计】:彩色点制作精美图案
下一篇: 1000条Stable Diffusion提示词一篇汇总
不秃头de程序猿
博客等级 码龄5年 4091粉丝 1482原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值