Deconstructing Denoising Diffusion Models for Self-Supervised Learning解读（超详细）

原创

已于 2024-08-16 19:41:52 修改 · 1.4k 阅读

36 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #人工智能 #机器学习

于 2024-03-28 22:28:46 首次发布

论文题目：Deconstructing Denoising Diffusion Models for Self-Supervised Learning

原文链接：https://arxiv.org/html/2401.14404v1
本文是对何恺明老师的新作进行的详细解读，其中穿插了一些思考，将从以下四个方面对这篇工作进行一个详细的介绍：
在这里插入图片描述

对早期工作的概括

在这里插入图片描述

AE

为了更加清楚全面的介绍扩散模型，我们首先要从自编码器谈起，自编码器由一个编码器和一个解码器组成，通过编码器对图像进行编码，然后通过解码器再解码成原来的图像，优化目标也非常简单：编码再解码后的重建图像应该和原图像尽可能一致，即二者的均方误差应该尽可能小。我们不需要给图片打上标签，整个训练过程是自监督的。所以我们说，整套模型是一个自编码器（Autoencoder，AE）。

VAE

但是，AE生成效果并不好，会有过拟合现象，这导致AE的解码器只认得训练集里的图片经编码器解码出来的压缩数据，而不认得随机生成的压缩数据，进而也无法达到图像生成的要求。于是尝试着对AE进行改进，变分自编码器（Variational Autoencoder, VAE）就是其中的代表。第一点改进是VAE让编码器的输出不再是一个确定的数据，而是一个数据的分布。这样的话，VAE就不能死记硬背了，必须要找出数据中的规律。VAE的第二项改动是多添加一个学习目标，让编码器的输出和标准正态分布尽可能相似，相当于对学习到的分布增加了一个约束，让编码器学习到的分布更加接近于标准正态分布。这样，VAE的误差函数由两部分组成：原图像和重建图像的重建误差、编码器输出和标准正态分布之间的误差。

VQVAE

但是问题又来了，VAE生成的图像还是比较模糊。也诞生了许多对VAE进行改进的模型，其中一条改进路径是VQVAE，由于VAE的编码器得到的分布不是很好学，而是一个codebook代替了，codebook可以理解为一个聚类的中心（通常为8192），这样就把特征量化了，而不是从分布里采样的一个随机的东西，优化起来就相对容易。

VQGAN

VQGAN是一个改进版的VQVAE，它将感知误差和GAN引入了图像压缩模型，把压缩图像生成模型替换成了更强大的Transformer。凭借这些改动，VQGAN方法能够生成高质量的高清图片。并且，通过把额外的约束条件（如语义分割图像、文字）输入进Transformer，VQGAN方法能够实现带约束的图像生成。（回过头来看看，之前的研究者们一直在可控和多样性的图像生成之间做权衡，一直没能找到一种可控生成而又保证多样性的图像生成方法）。

DDPM

另一条路径就是我们今天要讲的主角扩散模型 Diffusion Model，VAE之所以效果不好，很可能是因为它的约束太少了。VAE的编码和解码都是用神经网络表示的。神经网络是一个黑盒，我们不好对神经网络的中间步骤施加约束，只好在编码器的输出（某个正态分布）和解码器的输出（重建图像）上施加约束