深度生成模型-扩散模型去噪扩散概率模型
我们使用扩散概率模型提出了高质量的图像合成结果,这是一类考虑来自非平衡热力学的潜在变量模型。
我们的最佳结果是通过训练根据扩散概率模型和与朗之万动力学匹配的去噪分数之间的新联系设计的加权变分界得到的,我们的模型自然允许一个渐进的有损解压方案,可以解释为自回归解码的泛化。
在无条件的CIFAR10数据集上,我们获得了9.46分和最先进的FID得分为3.17分。在256x256 LSUN上,我们获得了类似于进展性gan的样品质量。
1. 简介
各种深度生成模型最近在各种数据模式中显示出高质量的样本。生成对抗网络(GANs)、自回归模型、流和变分自动编码器(VAEs)已经合成了惊人的图像和音频样本,基于能量的建模和评分匹配已经取得了显著的进展,可产生与GANs相媲美的图像。
本文介绍了扩散概率模型[53]的研究进展。扩散概率模型是一个参数化的马尔可夫链,使用变分推理训练,在有限时间后产生与数据匹配的样本。这条链的转换被学习为逆转扩散过程,扩散过程是一个马尔可夫链,它逐渐向相反采样方向的数据增加噪声,直到信号被破坏。当扩散包含少量的高斯噪声时,将采样链转换设置为条件高斯噪声就足够了,允许一个特别简单的神经网络参数化。
- 扩散模型定义起来很简单,训练效率也很高,但据我们所知,还没有证据表明它们能够生成高质量的样本。我们表明,扩散模型实际上能够生成高质量的样本,有时比在其他类型的生成模型上的公布结果更好(Section 4)。
- 我们还证明了扩散模型的一定参数化揭示了训练过程
本文介绍了扩散概率模型在深度生成模型中的应用,特别是其在去噪和图像生成方面的优势。研究显示,扩散模型能够生成高质量样本,甚至优于其他类型生成模型。文中探讨了正向和反向过程,以及它们与去噪分数匹配和朗之万动力学的联系,并提出了一种加权变分界优化方法。在CIFAR10和256x256 LSUN数据集上,模型表现出了优秀的样本质量和FID得分。
订阅专栏 解锁全文
741

被折叠的 条评论
为什么被折叠?



