4.扩散模型DDPM的发展脉络

2024-03-14 创建
2024-03-24 添加GAN，改进DDPM等内容

1. 自编码器（Autoencoder，AE ）

自编码器是神经网络的一种，经过训练后能尝试将输入复制到输出，该网络由两部分构成，,如下图所示，一个是编码器，h=f(x)表示编码器；另一个是解码器 。
 

现代自编码器将编码器和解码器的概念推广，将其中的确定函数推广为随机映射 和为了从自编码器获取有用特征，通常使编码器的输出h维度较小，这种编码维度小于输入维度的自编码器称为欠完备自编码器，学习欠完备的表示将强制自编码器捕获训练数据中最显著的特征。
学习过程可以简单描述为最小化一个损失函数：

惩罚g(f(x))与x的差异，如均方误差。
如果自编码器的容量太大，那么训练执行复制任务的自编码器可能无法学习到数据集的任何有用信息。

2.去噪自编码器（Denoising autoencoder，DAE ）

去噪自编码器的输入为被损坏数据（或添加噪声），并训练来预测原始没被损坏数据作为输出的自编码器。其架构图如下所示：
 

<