手推数学公式！带你从数学原理的角度了解扩散模型

最新推荐文章于 2025-04-02 17:49:41 发布

Python_金钱豹

最新推荐文章于 2025-04-02 17:49:41 发布

阅读量639

点赞数 3

文章标签：人工智能机器学习算法计算机视觉缓存

本文链接：https://blog.youkuaiyun.com/Python_cocola/article/details/144894403

版权

导读

此前，我们的很多文章都是从图文的角度介绍[扩散模型]，今天我们硬核一点，从数学推理的角度来看看扩散模型~

扩散模型（Diffusion Models）的核心思想是通过模拟物理扩散过程，逐步将数据转化为噪声，然后学习逆向过程，从噪声中逐步恢复出原始数据，从而实现高质量的数据生成。这一过程包括两个主要阶段：前向扩散阶段和反向扩散阶段。

前向扩散阶段

前向扩散过程，也称为正向过程，是扩散模型中将结构化数据逐步转化为无结构噪声的过程。

前向扩散过程步骤

前向扩散过程可以分解为以下步骤：

初始化：从一个数据样本开始，这通常是我们希望最终生成的数据样本。

噪声添加：在每一步，根据, 向数据添加噪声，生成新的数据样本。

这里，表示在时间步的数据，是前一时间步的数据，是从标准正态分布中采样的噪声，是一个随时间变化的噪声比例参数，它控制着每一步中噪声的添加量。

迭代过程：重复噪声添加步骤，直到完成所有预定的时间步，最终得到一个几乎完全由噪声构成的数据样本。

为了更深入地理解这一过程，我们可以将的表达式进行迭代展开。假设，我们可以得到：

通过迭代这个过程，我们可以将表示为初始数据和一系列噪声的函数：

其中，是累积的噪声比例参数。

数据转换：随着每一步噪声的添加，原始数据的结构信息逐渐丢失，数据样本从有序状态转变为无序状态。

方差调度：每一步中噪声的添加量由方差调度控制，这允许模型在不同时间步中以不同的速率添加噪声。

在实际应用中，通常按照一个预定的方差调度（variance schedule）来确定，这个调度定义了每一步中噪声的方差。例如，一个简单的线性方差调度可以定义为：

其中是总的时间步数。随着的增加，增加，意味着噪声的方差增加，数据中的信息逐渐被噪声掩盖。

前向扩散过程的马尔可夫性质

前向扩散过程具有马尔可夫性质，这意味着在任何给定的时间步，数据的状态只依赖于前一时间步的状态，而不依赖于之前的所有状态。这一性质可以用数学公式表达为：

由于这一性质，前向扩散过程可以被视为一个马尔可夫链，其中每个状态转移只依赖于直接前驱状态。这简化了模型的训练和推理过程，因为我们可以独立地对每个时间步进行操作，而不需要考虑整个状态历史。马尔可夫性质的这一特点使得前向扩散过程在计算上更加高效，并且便于实现。

反向扩散过程

反向扩散过程，也称为逆向过程，是扩散模型中从噪声数据恢复出原始数据的关键阶段。这一过程可以视为前向扩散过程的逆操作，其数学模型可以表示为条件高斯分布：

其中，是在给定当前噪声数据的条件下，前一时间步数据的概率分布。这个分布由神经网络参数化，其中是均值函数，表示在时间步和当前噪声数据下预测的均值；是方差函数，表示在时间步下的不确定性。

反向扩散过程步骤详解

逆向扩散过程可以分为以下几个步骤：

初始化：从标准正态分布中采样初始噪声数据 \，即。
逐步去噪：从时间步开始，逐步向前推进到时间步1，在每个时间步进行以下操作：

采样噪声当 ( ) 时，从标准正态分布中采样，否则设为零。
使用参数化的均值和协方差进行去噪，更新数据状态。

返回结果：最终得到时间步 ( ) 的样本，即去噪后的原始数据。

这个过程的关键在于，每一步都需要预测前一时间步的噪声，并且利用这个预测来更新数据状态，逐步接近原始数据。

在实际应用中，我们通常使用变分下界（VLB）来优化模型参数，这涉及到计算两个高斯分布之间的KL散度。对于两个高斯分布和，它们的KL散度为：

反向扩散过程中的噪声预测

在逆向过程中，模型需要学习如何预测每一步的噪声。这通常通过训练一个神经网络来实现，该网络能够根据当前的噪声数据和时间步来预测噪声。噪声预测的数学表达式可以写为：

这里，是神经网络预测的均值，是噪声比例参数，是前一时间步的数据。通过最小化预测噪声和实际噪声之间的差异，模型能够学习到如何从噪声数据中恢复出原始数据。

在实际应用中，这个预测过程通常涉及到复杂的神经网络结构，如U-Net，它能够捕捉数据的多尺度特征，并有效地预测每一步的噪声。通过这种方式，扩散模型能够在多个时间步中逐步去除噪声，最终生成高质量的数据样本。

重参数技巧（reparameterization trick）

重参数技巧是扩散模型中的关键技术，它允许我们将随机变量的采样过程转化为可微分的确定性过程。这一技巧特别适用于处理高斯分布中的随机采样问题。

假设我们有一个随机变量服从高斯分布，我们可以通过以下方式重参数化：

其中，是从标准正态分布中采样的随机变量，表示逐元素乘法。通过这种方式，我们可以将随机采样过程转化为一个可微分的确定性过程，从而使得整个模型可以通过反向传播进行训练。

扩散模型训练与生成过程

扩散模型训练目标与损失函数

扩散模型的训练目标是学习一个参数化的逆扩散过程，该过程能够从噪声数据中恢复出原始数据。为了实现这一目标，我们需要定义一个合适的损失函数来指导模型的训练。

损失函数的选择在扩散模型中，最常用的损失函数是基于预测噪声的均方误差（MSE），其数学表达式为：

其中，是根据前向扩散过程计算出的均值，是模型预测的均值，是噪声的方差。这个损失函数衡量了模型预测的噪声与实际噪声之间的差异。

损失函数的优化为了最小化损失函数，我们需要调整模型参数，使得预测的噪声尽可能接近实际噪声。这通常通过梯度下降算法来实现，其中涉及到计算损失函数关于模型参数的梯度，并更新参数以减少损失。

扩散模型训练过程

扩散模型的训练过程可以分为以下几个步骤：

1. 数据准备

首先，我们需要准备训练数据集，这些数据将被用于模拟前向扩散过程，并从中学习逆扩散过程。

2. 前向扩散

对于每一批训练数据，我们模拟前向扩散过程，逐步添加噪声，直至数据完全变成噪声。

3. 模型预测

在每一步噪声添加后，我们使用模型来预测当前噪声数据的前一状态。

4. 损失计算

计算模型预测的均值与实际均值之间的差异，使用损失函数来量化这一差异。

5. 参数更新

根据损失函数的梯度，更新模型参数，以减少预测误差。

6. 迭代训练

重复上述步骤，直到模型在验证集上的性能不再提升或达到预定的训练迭代次数。

扩散模型生成新样本过程

生成新样本是扩散模型的最终目标，该过程是训练过程的逆操作。以下是生成新样本的步骤：

1. 噪声初始化

从标准正态分布中采样初始噪声数据。

2. 逆向扩散

从时间步开始，逐步向前推进，每一步使用模型预测的均值和方差来更新数据状态。

3. 逐步去噪

在每一步中，根据模型预测的噪声，从当前噪声数据中去除噪声，逐步恢复出原始数据。

4. 输出结果

最终在时间步得到去噪后的原始数据，即新生成的样本。

5. 样本质量评估

评估生成样本的质量，通常使用图像质量评估指标，如FID（Fréchet Inception Distance）或Inception Score（IS）。

通过这些步骤，扩散模型能够从噪声中生成高质量的数据样本，这些样本在统计特性上与训练数据集相似。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述