icylling的专栏

如果是用Euler算法求解DDPM，就是解上面的ODE，要注意做scale。部分保证是原始训练的量级，其他部分是non-scaled的。一般的perturbation kernel有下面的形式。EDM论文的C.3.1证明上面的公式等于论文中。对应，所以t变成了实数，不再是计数count。为non-scaled变量，即。

如果尝试用stable diffusion生成特别暗或特别亮的图像，它几乎总是生成平均值相对接近 0.5 的图像。Offset Noise正是为了解决这个问题的一个trick。

Denoising diffusion probabilistic models (DDPMs)从马尔科夫链中采样生成样本，需要迭代多次，速度较慢。Denoising diffusion implicit models (DDIMs)的提出是为了在复用DDPM训练的网络的前提下，加速采样过程。加速采样的基本思路是，原本的生成过程是从T⋯1的序列逐步采样，加速时考虑从T⋯1的子序列采样，通过跳步的方式减少采样的步数。

SDXL是一个文生图模型。

文章使用模块化（modular）的思想，分别从采样、训练、score network设计三个方面分析和改进diffusion-based models。

该论文在预训练的自编码器的隐含空间中训练扩散模型，并使用cross-attention机制为扩散模型引入条件。

建立一个连续时间索引的扩散过程xtt0T​t∈0T，其满足x0∼p0​是需要学习的目标数据分布，xT∼pT​是便于采样的先验分布。dxfxtdtgtdw5w是标准Wiener过程，f⋅t是称为drift coefficient的向量函数，gt是称为diffusion coefficient的标量函数。通过从xT∼pT​采样，并逆转上面的过程，我们可以得到x0∼p0​，从而得到目标数据分布的样本。d。

Denoising diffusion probabilistic models (DDPMs)从马尔科夫链中采样生成样本，需要迭代多次，速度较慢。Denoising diffusion implicit models (DDIMs)的提出是为了加速采样过程，减少迭代的次数，并且要求DDIM可以复用DDPM训练的网络。

Vector QuantisedVariational AutoEncoder (VQ-VAE)是VAE的变种，其隐含变量是离散的。

论文提出了一种生成模型，并将其用于图形生成任务。论文先介绍了传统score-based generative modeling方法，然后分析传统score-based generative modeling存在的问题，最后提出解决问题的算法noise conditional score network。

score matching是一种用观测数据估计总体分布参数的统计学算法。

最近越来越多的文章在做高保真度（high fidelity）图片的生成，比如bigGAN和glow。这篇文章提出了Subscale Pixel Network (SPN)用来生成high fidelity图片。

该方法在生成器和判别器中引入self-attention。

Denoising Diffusion Probabilistic Models的介绍