19、扩散模型架构解析与Stable Diffusion应用

扩散模型架构解析与Stable Diffusion应用

在多模态生成式AI领域，扩散模型架构是许多模型的基础，其中Stable Diffusion更是备受关注。下面我们将详细解析扩散模型架构，并探讨Stable Diffusion 2和Stable Diffusion XL的架构特点，最后介绍ControlNet在图像生成控制中的应用。

扩散架构基础

扩散模型支持多模态模型的多种关键任务，包括图像生成、超分辨率和图像修复等。早期多模态模型常使用变分自编码器（VAEs），后来出现了基于生成对抗网络（GAN）架构的模型。而如今，大多数多模态模型采用基于扩散的架构，如Stable Diffusion。

基于扩散的架构成为近期多模态基础模型的常见选择，因为它能高度控制生成图像的质量和多样性。该架构主要包含三个部分：前向扩散、反向扩散和U-Net架构。

• 前向扩散 ：训练扩散模型的第一步是进行前向扩散。此过程会对输入图像逐步添加高斯噪声，噪声的添加量可根据需求控制。通过对多个输入图像执行该过程，能为图像生成模型创建大量训练示例。在这个过程中，我们可以控制每一步添加到图像中的噪声量，从而为训练数据集中的每个图像创建多个不同噪声程度的训练示例。
• 反向扩散 ：在获得训练示例后，会训练第二个模型来预测图像中的噪声并将其去除，以生成图像，这个过程称为反向扩散。反向扩散以带噪声的图像和一定数量的去噪步骤为输入，创建更清晰的图像。在反向扩散过程中，使用训练好的噪声预测器预测图像中的噪声，然后将其去除，并替换为更接近模型训练分布的图像。