AIGC：文生图模型Stable Diffusion

1 Stable Diffusion介绍

Stable Diffusion 是由CompVis、Stability AI和LAION共同开发的一个文本转图像模型，它通过LAION-5B子集大量的 512x512 图文模型进行训练，我们只要简单的输入一段文本，Stable Diffusion 就可以迅速将其转换为图像，同样我们也可以置入图片或视频，配合文本对其进行处理。

Stable Diffusion的发布是AI图像生成发展过程中的一个里程碑，相当于给大众提供了一个可用的高性能模型，不仅生成的图像质量非常高，运行速度快，并且有资源和内存的要求也较低。一张生成图片展示如下：

Stable Diffusion Demo：demo

1.1 Stable Diffusion的组成

Stable Diffusion不是一个整体模型，它由几个组件和模型组成。

• 文本理解组件：text-understanding component ，将文本信息转换成数字表示，以捕捉文本中的想法。
• 图像生成器：image generator，图像生成器包括两步，图像信息创建者（ Image information creator）和图像解码器（Image Decoder）。

图像信息创建者这一组件运行多步以生成对象，这是stable diffusion接口和库中的步长参数，通常默认为50或者100。图像信息创建者完全在图像信息空间（隐藏空间）中工作，此特性比在像素空间中工作的扩散模型更快。

图像解码器根据从图像信息创建者哪里获得信息绘制图片，它仅仅在生成最终图像的结束阶段运行一次。

 上图是stable diffusion的一个流程图，包含了上述描述的三个组件，每个组件都有相应的神经网络。

• 文本理解组件：Clip Text为文本编码器。以77 token为输入，输出为77 token 嵌入向量，每个向量有768维度
• 图像信息创建者：UNet+Scheduler，在潜在空间中逐步处理扩散信息。以文本嵌入向量和由噪声组成的起始多维数组为输入，输出处理的信息数组。
• 图像解码器：**自动编码解码器，使用处理后的信息数组绘制最终的图像。以处理后的维度为 4 × 64 × 64 4 \times 64 \times 64 4×64×64的信息数组为输入，输出尺寸为 3 × 512 × 512 3 \times 512 \times 512 3×512×512的图像。

1.2 什么是Diffusion

上述我们描述过“图像信息创建者”组件的功能，它以文本嵌入向量和由噪声组成的起始多维输入为输出，输出图像解码器用于绘制最终图像的信息阵列。扩散是发生在下图粉红色“图像信息创建者”组件内部的过程。

 

 扩散这个过程是循序渐进的，每一步都会添加更多相关信息。扩散发生在多个步骤，每一步作用于一个输入latents array，生成另一个latents array，该数组能够更好类比输入文本和模型从训练模型中的所有图像中获取的所有视觉信息。下图将每一步生成的latents array作为图像解码器的输入，可视化了每一步中添加了什么信息。下图的diffusion迭代了50次，随着迭代步数的增加，latents array解码的图像越来越清晰。

1.3 Di