Mr_yuekitty的博客

这是因为DDIM的反转依赖一个重要的假设，在t时刻预测的噪声与t+1时刻会是相同的 - 这在我们只反转50或100步时是不陈立的。这个函数看起来和上面的取样函数很像，但我们在timesteps上是在向相反的方向移动，从t=0开始，向越来越多的噪声前进。嗯，这是因为如果我们现在若要用一个新的prompt来生成图像，我们会得到一个匹配于源图像，除了，与新prompt相关的内容。我们可以这么做，但这会带来一个到处都被改变得夸张得多的照片（如果我们加入了很多噪声），或哪也没怎么变的图像（如果加了太少的噪声）。

直到现在，我们生成的图片还都是完全从随机的隐变量来开始生成的，而且也都使用了完整的扩散模型采样循环。但与以往例子不同的是，这里的输入并不是图片了，而是图片的隐式表示形式（latent representation）。可变分自编码器（VAE）是一种模型，它可以将输入编码成一种被压缩过的表示形式，再把这个“隐式的”表示形式解码成某种接近输入的输出。使用这些信息量充裕的 4x64x64 隐编码可比使用 512px 大小的图片要高效多了，可以让我们的扩散模型更快，并使用更少的资源来训练和使用。

我们这里使用的 batch size 很小（只有 4），因为我们的训练是基于较大的图片尺寸的（256px），并且我们的模型也很大，如果我们的 batch size 太高，GPU 的内存可能会不够用了。你可以减小图片尺寸，换取更大的 batch size 来加速训练，但这里的模型一开始都是基于生成 256px 尺寸的图片来设计和训练的。这对于训练来讲并不理想。，PyTorch 就会把梯度累积（加和）起来，这样多个批次的数据产生的更新信号就会被高效地融合在一起，产出一个单独的（更好的）梯度估计用于参数更新。