StableDiffusion零基础入门教程及方法，从零开始学习StableDiffusion技术，看这一篇就够了

原创已于 2024-12-28 20:00:21 修改

· 966 阅读

15 ·

版权

文章标签：

#stable diffusion #学习 #AI作画 #电脑 #AIGC #本地部署

于 2024-11-20 18:39:27 首次发布

Stable Diffusion 专栏收录该内容

45 篇文章

订阅专栏

Stable Diffusion AI引领图像生成新境界。

基于先进潜在扩散模型，它既可打造逼真照片，亦能再现艺术大师风格。

从生动自然景观到独特艺术插图，一切尽在掌控。

更佳消息，Stable Diffusion AI完全免费，无论学生、开发者还是艺术家，均可无门槛下载使用，让创意自由延伸。

只需一台性能合格的PC，遵循官方指南轻松安装，即可开启文本到图像的魔法之旅，让每一份创作都独具匠心

今天我们来揭开 Stable Diffusion 技术的神秘面纱

稳定扩散原理

Stable Diffusion 在2022年发表，一种基于Latent Diffusion Models的新兴机器学习技术。它基于扩散过程，利用数学模型将机器学习中的高维度数据降低到低维度空间，并在该空间中进行训练。Stable Diffusion的原理涉及到以下三个组件：

Text Encoder 文字特征化：为了输入文字的内容，我们要先有一个powerful的文字特征萃取器，可以是GPT、BERT等常见的主流Transformer model，总之能把文字特征做得好，就好的是Encoder 。
Diffusion Model 扩散模型：透过降躁过程，将一个潜在空间Latent Space的图像，逐步转回真实图像的技术，里面用到U-Net架构及Attenation技术，来提高模型表现，与传统的Diffusion略有不同。
VAE (Variational Autoencoder)：变分自编码器，负责图像在潜在空间的压缩与重建，压缩后的图像能让模型学得更快更好。

以功能来切，大概可以这样理解

以模型的学习与训练来看，可以这样理解：将高维特征压缩到低维，然后在低维空间上进行操作的方法具有泛用性，可以很容易推广到文本、音频、影像等数据。

Stable Diffusion模型中，有几种不同的sampling方法可以用来生成数据，以下是一些常见的sampling方法：

Gaussian sampling：是Stable Diffusion中最常用的一种sampling方法。它通过将高斯噪声添加到数据中来生成新的样本。这种方法可以帮助模型更好地理解数据的分布和特征。
Langevin sampling：一种基于随机梯度下降的sampling方法。它通过将随机噪声添加到梯度中来生成新的样本。这种方法可以帮助模型更好地处理高度非线性的数据。
Metropolis-Hastings sampling：一种Markov Chain Monte Carlo（MCMC）方法，它可以生成一个序列来表示数据的分布。这种方法可以帮助模型更好地理解数据的复杂性和不确定性。
Hamiltonian Monte Carlo sampling：一种MCMC方法，它可以利用动态系统的特性来生成数据样本。这种方法可以帮助模型更好地理解数据中的隐含结构和特征。
Diffusion Process Model：DPM是基于扩散过程的理论原理，通过对数据样本中的噪声进行建模，可以帮助消除数据中的噪声和偏差，提高模型的准确性和泛化能力。

这些方法在Stable Diffusion的参数中都可以调整，其中Sampling step更会影响图片生成的运算时间及效果，原则上会根据采样方法不同而有所差异。

Dreambooth 原理

Google 在2022年提出的技术，可以保留你想想要的图片特征，基于 GAN 模型的核心思想，即通过将生成器和判别器部分相互对抗，从而提高生成器生成图像的质量和真实度。在Dreambooth中，生成器部分利用深度学习技术从文字描述中学习生成图像的能力，而判别器部分则利用深度学习技术评估图像的真实度，从而驱动生成器不断地优化生成图像的效果。透过对Stable Diffusion的微调，让图片可以在保留特征的情况下生成更多样式，这也是近期很多艺术家反弹的艺术风格道德问题，如果你喜欢某个画师的风格，就能用这个技术将之模仿并创作。

如Civitai上的Checkpoint Model，就是Stable Diffusion用来生成图片的主模型，可以快速找到你想要的风格。

LoRA 原理

Low-rank adaptation of large language models，又称 LoRA，微软开发的局部调整模型，非常轻量，可以在Stable Diffusion主模型的基础上，增加局部特征。主要原理是将低秩矩阵分解应用到大型语言模型中，将模型中的权重矩阵分解成低秩的两个矩阵，从而减少存储需求和计算成本。此外模型还通过自适应学习的方法来调整模型的参数，以更好地适应不同的语言模型和文本数据。

如Civitai上的LoRA Model，就能将想要的风格加进主模型中，你就可以建立各种表情、服装的Tifa之类的。

ControlNet 原理

ControlNet 模型通常由两个部分组成：一个称为系统动态的部分，用于处理非线性问题，另一个称为控制器的部分，用于调节模型的输出。控制器的输出可以根据系统动态的状态和期望输出值进行调整，从而提高模型的性能和准确度。ControlNet 应该是 Stable Diffusion 目前最夯的应用，主要可以控制人物的动作，或是物体结构，不需要打一堆咒语，快速让AI懂你要的东西。

（完）

如何学习Stable Diffusion ?

2023年，AIGC绘画元年，从年初以来，以Midjourney和Stable Diffusion 为代表的AIGC绘画迎来春天，掀起了一场生产力革命。

Stable diffuson最大的优势在于它的可控性以及免费开源。很多人想学习和使用stable diffusion,网上一搜,往往在安装这一步就劝退了很多人。

也因为Stable diffusion中的参数非常非常多，极其容易劝退,但事实是，对于我们来说，只需要熟练使用即可，并不需要深入的去研究它的原理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的StableDiffusion学习资料包括：StableDiffusion学习思维导图、StableDiffusion必备模型，精品AI学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述