论文阅读笔记：Denoising Diffusion Implicit Models （3）

已于 2025-04-03 10:08:07 修改
阅读量720 收藏 20
点赞数 15
分类专栏： 论文阅读笔记：扩散模型 文章标签： 论文阅读 笔记
于 2025-04-01 22:46:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u010948546/article/details/146925188
版权

0、快速访问

论文阅读笔记：Denoising Diffusion Implicit Models （1）
论文阅读笔记：Denoising Diffusion Implicit Models （2）
论文阅读笔记：Denoising Diffusion Implicit Models （3）
论文阅读笔记：Denoising Diffusion Implicit Models （4）

4、DDPM与DDIM的相同点与不同点

4.1、 相同点

DDPM与DDIM的训练过程相同，因此DDPM训练的模型可以直接在DDIM当中使用，训练过程下所示
请添加图片描述

4.2、不同点

DDPM与DDIM在推理阶段是不同的。
DDPM在推理阶段的采样过程如下图所示。首先模型 ϵ θ \epsilon_\theta ϵθ​预测出 x 0 → x t x_0\to x_t x0​→xt​所添加的噪音 ϵ t \epsilon_t ϵt​，然后根据公式 ( x t − 1 − α t 1 − α ˉ t ⋅ ϵ t ) \Big(x_t-\frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}_{t}}}\cdot \epsilon_t\Big) (xt​−1−αˉt​ ​1−αt​​⋅ϵt​)得到 x t − 1 x_{t-1} xt−1​分布的均值，最后在均值上添加对应的噪音，得到 x t − 1 x_{t-1} xt−1​
请添加图片描述
接下来介绍DDIM的采样过程。根据上文论文阅读笔记：Denoising Diffusion Implicit Models （2）中公式(2)所示的前向加噪过程：在给定 x 0 x_0 x0​和 x t x_t xt​的条件下， x t − 1 x_{t-1} xt−1​的分布 q σ ( x t − 1 ∣ x t , x 0 ) = N ( x t − 1 ∣ 1 − α t − 1 − σ t 2 1 − α t ⋅ x t + [ α t − 1 − α t ⋅ ( 1 − α t − 1 − σ t 2 ) 1 − α t ] ⋅ x 0 , σ t 2 I ) q_{\sigma}(x_{t-1}|x_t,x_0)=N\Bigg(x_{t-1}|\sqrt{\frac{1-\alpha_{t-1}-\sigma_t^2}{1-\alpha_{t}}}\cdot x_t+ \bigg[\sqrt{\alpha_{t-1}}- \frac{\sqrt{ \alpha_t\cdot (1-\alpha_{t-1}-\sigma_t^2} )}{\sqrt{1-\alpha_t}} \bigg] \cdot x_0 ,\sigma_t^2 I\Bigg) qσ​(xt−1​∣xt​,x0​)=N(xt−1​∣1−αt​1−αt−1​−σt2​​ ​⋅xt​+[αt−1​ ​−1−αt​ ​αt​⋅(1−αt−1​−σt2​ ​)​]⋅x0​,σt2​I)，也就是 x t − 1 x_{t-1} xt−1​的计算过程如公式（1）所示。
x t − 1 = α t − 1 ⋅ x 0 + 1 − α t − 1 − σ t 2 ⋅ x t − α t x 0 1 − α t + σ t 2 ϵ t ⏟ 标准高斯分布 = α t − 1 ⋅ x t − 1 − α t ⋅ z t α t + 1 − α t − 1 − σ t 2 ⋅ 1 1 − α t ⋅ ( x t − α t ⋅ ( x t − 1 − α t ⋅ z t α t ) ) + σ t 2 ⋅ ϵ t = α t − 1 ⋅ x t − 1 − α t ⋅ z t α t + 1 − α t − 1 − σ t 2 ⋅ 1 1 − α t ⋅ ( x t − x t + 1 − α t ⋅ z t ) + σ t 2 ⋅ ϵ t = α t − 1 ⋅ x t − 1 − α t ⋅ z t α t ⏟ = x 0 + 1 − α t − 1 − σ t 2 ⋅ z t + σ t 2 ⋅ ϵ t \begin{equation} \begin{split} x_{t-1}&= \sqrt{\alpha_{t-1}}\cdot x_0+\sqrt{1-\alpha_{t-1}-\sigma_t^2}\cdot \frac{x_t-\sqrt{\alpha}_t x_0}{\sqrt{1-\alpha_t}} + \sigma_t^2 \underbrace{\epsilon_t}_{标准高斯分布} \\ &=\sqrt{\alpha_{t-1}}\cdot \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}} + \sqrt{1-\alpha_{t-1}-\sigma_t^2}\cdot \frac{1}{\sqrt{1-\alpha_t}}\cdot \bigg(x_t- \bcancel{\sqrt {\alpha_t}}\cdot \big(\frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\bcancel{\sqrt{\alpha_t}}} \big) \bigg) + \sigma_t^2 \cdot\epsilon_t\\ &=\sqrt{\alpha_{t-1}}\cdot \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}}+ \sqrt{1-\alpha_{t-1}-\sigma_t^2}\cdot \frac{1}{\sqrt{1-\alpha_t}}\cdot (x_t - x_t + \sqrt{1-\alpha_t}\cdot z_t)+ \sigma_t^2 \cdot\epsilon_t\\ &=\sqrt{\alpha_{t-1}}\cdot \underbrace{ \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}}}_{=x_0}+ \sqrt{1-\alpha_{t-1}-\sigma_t^2}\cdot z_t + \sigma_t^2 \cdot\epsilon_t \end{split} \end{equation} xt−1​​=αt−1​ ​⋅x0​+1−αt−1​−σt2​ ​⋅1−αt​ ​xt​−α ​t​x0​​+σt2​标准高斯分布 ϵt​​​=αt−1​ ​⋅αt​ ​xt​−1−αt​ ​⋅zt​​+1−αt−1​−σt2​ ​⋅1−αt​ ​1​⋅(xt​−αt​ ​ ​⋅(αt​ ​ ​xt​−1−αt​ ​⋅zt​​))+σt2​⋅ϵt​=αt−1​ ​⋅αt​ ​xt​−1−αt​ ​⋅zt​​+1−αt−1​−σt2​ ​⋅1−αt​ ​1​⋅(xt​−xt​+1−αt​ ​⋅zt​)+σt2​⋅ϵt​=αt−1​ ​⋅=x0​ αt​ ​xt​−1−αt​ ​⋅zt​​​​+1−αt−1​−σt2​ ​⋅zt​+σt2​⋅ϵt​​​​
得到的公式(1)就是在推断时跳 1 1 1步的采样过程。
由前向加噪过程，可以推知 q σ ( x t − 2 ∣ x t − 1 , x 0 ) = N ( x t − 2 ∣ 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ x t − 1 + [ α t − 2 − α t − 1 ⋅ ( 1 − α t − 2 − σ t − 1 2 ) 1 − α t − 1 ] ⋅ x 0 , σ t − 1 2 I ) q_{\sigma}(x_{t-2}|x_{t-1},x_0)=N\bigg(x_{t-2}|\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot x_{t-1}+ \bigg[\sqrt{\alpha_{t-2}}- \frac{\sqrt{ \alpha_{t-1}\cdot (1-\alpha_{t-2}-\sigma_{t-1}^2} )}{\sqrt{1-\alpha_{t-1}}} \bigg] \cdot x_0 ,\sigma_{t-1}^2 I\bigg) qσ​(xt−2​∣xt−1​,x0​)=N(xt−2​∣1−αt−1​1−αt−2​−σt−12​​ ​⋅xt−1​+[αt−2​ ​−1−αt−1​ ​αt−1​⋅(1−αt−2​−σt−12​ ​)​]⋅x0​,σt−12​I)。接下来考虑，跳 2 2 2步时的采样过程，即在给定 x 0 x_0 x0​和 x t x_t xt​时， x t − 2 x_{t-2} xt−2​时的采样过程，即 q σ ( x t − 2 ∣ x 0 , x t ) q_\sigma(x_{t-2}|x_0,x_t) qσ​(xt−2​∣x0​,xt​)的分布。
首先，我们可以确定 q σ ( x t − 2 ∣ x 0 , x t ) q_\sigma(x_{t-2}|x_0,x_t) qσ​(xt−2​∣x0​,xt​)是高斯分布，假设其均值和方差分别为 μ t − 2 \mu_{t-2} μt−2​和 σ t − 2 2 \sigma_{t-2}^2 σt−22​。由于 q σ ( x t − 2 ∣ x 0 , x t ) q_\sigma(x_{t-2}|x_0,x_t) qσ​(xt−2​∣x0​,xt​)是 q σ ( x t − 2 , x t − 1 ∣ x 0 , x t ) q_\sigma(x_{t-2},x_{t-1}|x_0,x_t) qσ​(xt−2​,xt−1​∣x0​,xt​) 的边缘分布。

q σ ( x t − 2 ∣ x 0 , x t ) = ∫ q σ ( x t − 2 , x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 = ∫ q σ ( x t − 2 ∣ x 0 , x t − 1 ) ⋅ q σ ( x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 \begin{equation} \begin{split} q_\sigma(x_{t-2}|x_0,x_t)&= \int q_\sigma(x_{t-2},x_{t-1}|x_0,x_t) \cdot dx_{t-1} \\ &=\int q_\sigma(x_{t-2}|x_0,x_{t-1}) \cdot q_\sigma(x_{t-1}|x_0,x_{t}) \cdot dx_{t-1} \end{split} \end{equation} qσ​(xt−2​∣x0​,xt​)​=∫qσ​(xt−2​,xt−1​∣x0​,xt​)⋅dxt−1​=∫qσ​(xt−2​∣x0​,xt−1​)⋅qσ​(xt−1​∣x0​,xt​)⋅dxt−1​​​​

因此
μ t − 2 = E ( q σ ( x t − 2 ∣ x 0 , x t ) ) = ∫ x t − 2 ⋅ q σ ( x t − 2 ∣ x 0 , x t ) ⋅ d x t − 2 = ∫ x t − 2 ⋅ ( ∫ q σ ( x t − 2 , ∣ x 0 , x t − 1 ) ⋅ q σ ( x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 ) ⋅ d x t − 2 = ∫ ∫ x t − 2 ⋅ q σ ( x t − 2 , ∣ x 0 , x t − 1 ) ⋅ q σ ( x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 ⋅ d x t − 2 = ∫ ( ∫ x t − 2 ⋅ q σ ( x t − 2 ∣ x 0 , x t − 1 ) ⋅ d x t − 2 ) ⋅ q σ ( x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 = ∫ ( E ( q σ ( x t − 2 , ∣ x 0 , x t − 1 ) ) ⋅ q σ ( x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 = ∫ ( 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ x t − 1 + [ α t − 2 − α t − 1 ⋅ ( 1 − α t − 2 − σ t − 1 2 ) 1 − α t − 1 ] ⋅ x 0 ) ⋅ q σ ( x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 = ∫ ( 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ x t − 1 ) ⋅ q σ ( x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 + ∫ ( α t − 2 − α t − 1 ⋅ ( 1 − α t − 2 − σ t − 1 2 ) 1 − α t − 1 ) ⋅ x 0 ⋅ q σ ( x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 = 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ ∫ x t − 1 ⋅ q σ ( x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 + ( α t − 2 − α t − 1 ⋅ ( 1 − α t − 2 − σ t − 1 2 ) 1 − α t − 1 ) ⋅ x 0 ∫ q σ ( x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 ⏟ = 1 = 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ E ( q σ ( x t − 1 ∣ x 0 , x t ) ) + ( α t − 2 − α t − 1 ⋅ ( 1 − α t − 2 − σ t − 1 2 ) 1 − α t − 1 ) ⋅ x 0 = 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ ( 1 − α t − 1 − σ t 2 1 − α t ⋅ x t + [ α t − 1 − α t ⋅ ( 1 − α t − 1 − σ t 2 ) 1 − α t ] ⋅ x 0 ) + ( α t − 2 − α t − 1 ⋅ ( 1 − α t − 2 − σ t − 1 2 ) 1 − α t − 1 ) ⋅ x 0 = 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ 1 − α t − 1 − σ t 2 1 − α t ⋅ x t + 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ α t − 1 ⋅ x 0 − 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ α t ⋅ ( 1 − α t − 1 − σ t 2 ) 1 − α t ⋅ x 0 + α t − 2 ⋅ x 0 − α t − 1 ⋅ ( 1 − α t − 2 − σ t − 1 2 ) 1 − α t − 1 ⋅ x 0 = 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ 1 − α t − 1 − σ t 2 1 − α t ⋅ x t − 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ α t ⋅ ( 1 − α t − 1 − σ t 2 ) 1 − α t ⋅ x 0 + α t − 2 ⋅ x 0 ⏟ x 0 = x t − 1 − α t ⋅ z t α t = 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ 1 − α t − 1 − σ t 2 1 − α t ⋅ x t − 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ α t ⋅ ( 1 − α t − 1 − σ t 2 ) 1 − α t ⋅ x t − 1 − α t ⋅ z t α t + α t − 2 ⋅ x t − 1 − α t ⋅ z t α t = 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ 1 − α t − 1 − σ t 2 1 − α t ⋅ x t − 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ α t ⋅ ( 1 − α t − 1 − σ t 2 ) 1 − α t ⋅ x t α t + 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ α t ⋅ ( 1 − α t − 1 − σ t 2 ) 1 − α t ⋅ 1 − α t ⋅ z t α t + α t − 2 ⋅ x t − 1 − α t ⋅ z t α t = 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ α t ⋅ ⋅ ( 1 − α t − 1 − σ t 2 ) 1 − α t ⋅ 1 − α t ⋅ z t α t + α t − 2 ⋅ x t − 1 − α t ⋅ z t α t = α t − 2 ⋅ x t − 1 − α t ⋅ z t α t ⏟ = x 0 + 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ 1 − α t − 1 − σ t 2 ⋅ z t = = = = = = 令所有的 σ = 0 α t − 2 ⋅ x t − 1 − α t ⋅ z t α t + 1 − α t − 2 ⋅ z t \begin{equation} \begin{split} \mu_{t-2}&=E\big(q_\sigma(x_{t-2}|x_0,x_t)\big) \\ &=\int x_{t-2} \cdot q_\sigma(x_{t-2}|x_0,x_t)\cdot dx_{t-2} \\ &=\int x_{t-2} \cdot \bigg(\int q_\sigma(x_{t-2},|x_0,x_{t-1}) \cdot q_\sigma(x_{t-1}|x_0,x_{t}) \cdot dx_{t-1} \bigg) \cdot dx_{t-2} \\ &=\int \int x_{t-2} \cdot q_\sigma(x_{t-2},|x_0,x_{t-1}) \cdot q_\sigma(x_{t-1}|x_0,x_{t}) \cdot dx_{t-1} \cdot dx_{t-2} \\ &=\int \bigg( \int x_{t-2} \cdot q_\sigma(x_{t-2}|x_0,x_{t-1}) \cdot dx_{t-2} \bigg)\cdot q_\sigma(x_{t-1}|x_0,x_{t}) \cdot dx_{t-1} \\ &=\int \bigg(E(q_\sigma(x_{t-2},|x_0,x_{t-1}) \bigg)\cdot q_\sigma(x_{t-1}|x_0,x_{t}) \cdot dx_{t-1} \\ &=\int \bigg(\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot x_{t-1}+ \bigg[\sqrt{\alpha_{t-2}}- \frac{\sqrt{ \alpha_{t-1}\cdot (1-\alpha_{t-2}-\sigma_{t-1}^2} )}{\sqrt{1-\alpha_{t-1}}} \bigg] \cdot x_0 \bigg)\cdot q_\sigma(x_{t-1}|x_0,x_{t}) \cdot dx_{t-1} \\ &=\int \bigg(\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot x_{t-1} \bigg)\cdot q_\sigma(x_{t-1}|x_0,x_{t}) \cdot dx_{t-1} + \int \bigg(\sqrt{\alpha_{t-2}}- \frac{\sqrt{ \alpha_{t-1}\cdot (1-\alpha_{t-2}-\sigma_{t-1}^2} )}{\sqrt{1-\alpha_{t-1}}} \bigg) \cdot x_0 \cdot q_\sigma(x_{t-1}|x_0,x_{t}) \cdot dx_{t-1}\\ &=\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \int x_{t-1}\cdot q_\sigma(x_{t-1}|x_0,x_{t}) \cdot dx_{t-1} +\bigg(\sqrt{\alpha_{t-2}}- \frac{\sqrt{ \alpha_{t-1}\cdot (1-\alpha_{t-2}-\sigma_{t-1}^2} )}{\sqrt{1-\alpha_{t-1}}} \bigg) \cdot x_0 \underbrace{ \int q_\sigma(x_{t-1}|x_0,x_{t}) \cdot dx_{t-1}}_{=1}\\ &=\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot E\bigg(q_\sigma(x_{t-1}|x_0,x_{t})\bigg) +\bigg(\sqrt{\alpha_{t-2}}- \frac{\sqrt{ \alpha_{t-1}\cdot (1-\alpha_{t-2}-\sigma_{t-1}^2} )}{\sqrt{1-\alpha_{t-1}}} \bigg) \cdot x_0 \\ &=\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \bigg(\sqrt{\frac{1-\alpha_{t-1}-\sigma_t^2}{1-\alpha_{t}}}\cdot x_t+ \bigg[\sqrt{\alpha_{t-1}}- \frac{\sqrt{ \alpha_t\cdot (1-\alpha_{t-1}-\sigma_t^2} )}{\sqrt{1-\alpha_t}} \bigg] \cdot x_0 \bigg) +\bigg(\sqrt{\alpha_{t-2}}- \frac{\sqrt{ \alpha_{t-1}\cdot (1-\alpha_{t-2}-\sigma_{t-1}^2} )}{\sqrt{1-\alpha_{t-1}}} \bigg) \cdot x_0 \\ &=\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \sqrt{\frac{1-\alpha_{t-1}-\sigma_t^2}{1-\alpha_{t}}}\cdot x_t + \bcancel{\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}} \cdot \sqrt{\alpha_{t-1}}\cdot x_0} -\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \frac{\sqrt{ \alpha_t\cdot (1-\alpha_{t-1}-\sigma_t^2} )}{\sqrt{1-\alpha_t}} \cdot x_0 + \sqrt{\alpha_{t-2}} \cdot x_0 - \bcancel{\frac{\sqrt{ \alpha_{t-1}\cdot (1-\alpha_{t-2}-\sigma_{t-1}^2} )}{\sqrt{1-\alpha_{t-1}}} \cdot x_0}\\ &=\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \sqrt{\frac{1-\alpha_{t-1}-\sigma_t^2}{1-\alpha_{t}}}\cdot x_t -\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \frac{\sqrt{ \alpha_t\cdot (1-\alpha_{t-1}-\sigma_t^2} )}{\sqrt{1-\alpha_t}} \cdot x_0 + \sqrt{\alpha_{t-2}} \cdot \underbrace{x_0}_{x_0=\frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}}} \\ &=\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \sqrt{\frac{1-\alpha_{t-1}-\sigma_t^2}{1-\alpha_{t}}}\cdot x_t -\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \frac{\sqrt{ \alpha_t\cdot (1-\alpha_{t-1}-\sigma_t^2} )}{\sqrt{1-\alpha_t}} \cdot \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}} + \sqrt{\alpha_{t-2}} \cdot \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}} \\ &=\bcancel{\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \sqrt{\frac{1-\alpha_{t-1}-\sigma_t^2}{1-\alpha_{t}}}\cdot x_t} -\bcancel{\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \frac{\sqrt{ \alpha_t\cdot (1-\alpha_{t-1}-\sigma_t^2} )}{\sqrt{1-\alpha_t}} \cdot \frac{x_t}{\sqrt{\alpha_t}}} +\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \frac{\sqrt{ \alpha_t\cdot (1-\alpha_{t-1}-\sigma_t^2} )}{\sqrt{1-\alpha_t}} \cdot \frac{{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}} + \sqrt{\alpha_{t-2}} \cdot \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}} \\ &=\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \frac{\bcancel{\sqrt{\alpha_t}}\cdot \sqrt{ \cdot (1-\alpha_{t-1}-\sigma_t^2} )}{\bcancel{\sqrt{1-\alpha_t}}} \cdot \frac{{\bcancel{\sqrt{1-\alpha_t}}\cdot z_t}}{\bcancel{\sqrt{\alpha_t}}} + \sqrt{\alpha_{t-2}} \cdot \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}} \\ &=\sqrt{\alpha_{t-2}} \cdot \underbrace{ \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}}}_{=x_0}+ \sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \sqrt{ 1-\alpha_{t-1}-\sigma_t^2} \cdot z_t \\ &\stackrel{\mathrm{令所有的\sigma=0}}{======}\sqrt{\alpha_{t-2}} \cdot \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}} + \sqrt{1-\alpha_{t-2}}\cdot z_t \end{split} \end{equation} μt−2​​=E(qσ​(xt−2​∣x0​,xt​))=∫xt−2​⋅qσ​(xt−2​∣x0​,xt​)⋅dxt−2​=∫xt−2​⋅(∫qσ​(xt−2​,∣x0​,xt−1​)⋅qσ​(xt−1​∣x0​,xt​)⋅dxt−1​)⋅dxt−2​=∫∫xt−2​⋅qσ​(xt−2​,∣x0​,xt−1​)⋅qσ​(xt−1​∣x0​,xt​)⋅dxt−1​⋅dxt−2​=∫(∫xt−2​⋅qσ​(xt−2​∣x0​,xt−1​)⋅dxt−2​)⋅qσ​(xt−1​∣x0​,xt​)⋅dxt−1​=∫(E(qσ​(xt−2​,∣x0​,xt−1​))⋅qσ​(xt−1​∣x0​,xt​)⋅dxt−1​=∫(1−αt−1​1−αt−2​−σt−12​​ ​⋅xt−1​+[αt−2​ ​−1−αt−1​ ​αt−1​⋅(1−αt−2​−σt−12​ ​)​]⋅x0​)⋅qσ​(xt−1​∣x0​,xt​)⋅dxt−1​=∫(1−αt−1​1−αt−2​−σt−12​​ ​⋅xt−1​)⋅qσ​(xt−1​∣x0​,xt​)⋅dxt−1​+∫(αt−2​ ​−1−αt−1​ ​αt−1​⋅(1−αt−2​−σt−12​ ​)​)⋅x0​⋅qσ​(xt−1​∣x0​,xt​)⋅dxt−1​=1−αt−1​1−αt−2​−σt−12​​ ​⋅∫xt−1​⋅qσ​(xt−1​∣x0​,xt​)⋅dxt−1​+(αt−2​ ​−1−αt−1​ ​αt−1​⋅(1−αt−2​−σt−12​ ​)​)⋅x0​=1 ∫qσ​(xt−1​∣x0​,xt​)⋅dxt−1​​​=1−αt−1​1−αt−2​−σt−12​​ ​⋅E(qσ​(xt−1​∣x0​,xt​))+(αt−2​ ​−1−αt−1​ ​αt−1​⋅(1−αt−2​−σt−12​ ​)​)⋅x0​=1−αt−1​1−αt−2​−σt−12​​ ​⋅(1−αt​1−αt−1​−σt2​​ ​⋅xt​+[αt−1​ ​−1−αt​ ​αt​⋅(1−αt−1​−σt2​ ​)​]⋅x0​)+(αt−2​ ​−1−αt−1​ ​αt−1​⋅(1−αt−2​−σt−12​ ​)​)⋅x0​=1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt​1−αt−1​−σt2​​ ​⋅xt​+1−αt−1​1−αt−2​−σt−12​​ ​⋅αt−1​ ​⋅x0​ ​−1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt​ ​αt​⋅(1−αt−1​−σt2​ ​)​⋅x0​+αt−2​ ​⋅x0​−1−αt−1​ ​αt−1​⋅(1−αt−2​−σt−12​ ​)​⋅x0​ ​=1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt​1−αt−1​−σt2​​ ​⋅xt​−1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt​ ​αt​⋅(1−αt−1​−σt2​ ​)​⋅x0​+αt−2​ ​⋅x0​=αt​ ​xt​−1−αt​ ​⋅zt​​ x0​​​=1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt​1−αt−1​−σt2​​ ​⋅xt​−1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt​ ​αt​⋅(1−αt−1​−σt2​ ​)​⋅αt​ ​xt​−1−αt​ ​⋅zt​​+αt−2​ ​⋅αt​ ​xt​−1−αt​ ​⋅zt​​=1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt​1−αt−1​−σt2​​ ​⋅xt​ ​−1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt​ ​αt​⋅(1−αt−1​−σt2​ ​)​⋅αt​ ​xt​​ ​+1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt​ ​αt​⋅(1−αt−1​−σt2​ ​)​⋅αt​ ​1−αt​ ​⋅zt​​+αt−2​ ​⋅αt​ ​xt​−1−αt​ ​⋅zt​​=1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt​ ​ ​αt​ ​ ​⋅⋅(1−αt−1​−σt2​ ​)​⋅αt​ ​ ​1−αt​ ​ ​⋅zt​​+αt−2​ ​⋅αt​ ​xt​−1−αt​ ​⋅zt​​=αt−2​ ​⋅=x0​ αt​ ​xt​−1−αt​ ​⋅zt​​​​+1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt−1​−σt2​ ​⋅zt​======令所有的σ=0αt−2​ ​⋅αt​ ​xt​−1−αt​ ​⋅zt​​+1−αt−2​ ​⋅zt​​​​
论文中跳步过程如公式（4）所示，结果貌似与论文中公式略有不同。但是，公式中的 σ t \sigma_t σt​是自定义的，因此如果我们令 σ t = 0 \sigma_t=0 σt​=0，也就是 x t x_t xt​的取值都是确定的，不存在方差了，那么就可以实现跳 2 2 2步了。这个只是均值，至于方差，既然已经令 σ t = 0 \sigma_t=0 σt​=0了，那分布 q σ ( x t − 2 ∣ x 0 , x t ) q_\sigma(x_{t-2}|x_0,x_t) qσ​(xt−2​∣x0​,xt​)的方差 σ t − 2 2 \sigma_{t-2}^2 σt−22​肯定等于 0 0 0了。跳 1 1 1步和跳 2 2 2步的分布如公式(4)所示。
跳 1 步时： x t − 1 = α t − 1 ⋅ x t − 1 − α t ⋅ z t α t + 1 − α t − 1 ⋅ z t 跳 2 步时： x t − 2 = α t − 2 ⋅ x t − 1 − α t ⋅ z t α t + 1 − α t − 2 ⋅ z t \begin{equation} \begin{split} 跳1步时：x_{t-1}&=\sqrt{\alpha_{t-1}} \cdot \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}} + \sqrt{1-\alpha_{t-1}}\cdot z_t\\ 跳2步时：x_{t-2}&=\sqrt{\alpha_{t-2}} \cdot \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}} + \sqrt{1-\alpha_{t-2}}\cdot z_t \end{split} \end{equation} 跳1步时：xt−1​跳2步时：xt−2​​=αt−1​ ​⋅αt​ ​xt​−1−αt​ ​⋅zt​​+1−αt−1​ ​⋅zt​=αt−2​ ​⋅αt​ ​xt​−1−αt​ ​⋅zt​​+1−αt−2​ ​⋅zt​​​​
结合跳 1 1 1步和 2 2 2步，我们可以推知：跳 n n n步的公式就是 q σ ( x t − n ∣ x t , x 0 ) = α t − n ⋅ x t − 1 − α t ⋅ z t α t + 1 − α t − n ⋅ z t q_\sigma(x_{t-n}|x_t,x_0)=\sqrt{\alpha_{t-n}} \cdot \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}} + \sqrt{1-\alpha_{t-n}}\cdot z_t qσ​(xt−n​∣xt​,x0​)=αt−n​ ​⋅αt​ ​xt​−1−αt​ ​⋅zt​​+1−αt−n​ ​⋅zt​，接下来用数学归纳法证明，转下文论文阅读笔记：Denoising Diffusion Implicit Models （4）

扩散模型+CV与NLP科研笔记专栏文章汇总：【Diffusion Models】
zik的博客
04-04 5018
CLIP是一个多模态的大模型，用了4亿个（图像、文本）对进行对比学习，学习之后可以直接进行zero-shot推理，并且不需要像ImageNet那样标注1000个类，而是可以人为给出文本提示，进行图片和文本之间的相似度计算，而且迁移效果很好。那么基于此，提出了Classifier-Free Diffusion Guidance，后续非常多的工作都是基于其来进行的，例如DALL·E 2、Imagen等吸引人眼球的模型基本上都是以它为基础做的。直接用训练好的非条件的扩散模型，无需重复训练。
【论文阅读】CRoSS: Diffusion Model Makes Controllable, Robust and Secure Image Steganography
生命不息，代码不止
12-19 1077
提出了一种新颖的图像隐写框架，称为可控、鲁棒和安全图像隐写 (CRoSS)，与基于封面的图像隐写方法相比，它在可控性、鲁棒性和安全性方面具有显著优势。这些好处无需额外训练即可获得。据我们所知，这是首次将扩散模型引入图像隐写领域的工作。代码可在上找到。**传统方法的不足：**目前的图像隐写技术主要集中在基于封面的方法上，这些方法通常存在泄露秘密图像的风险，并且对退化的容器图像的鲁棒性较差。$ X_{sec}隐藏在隐藏在隐藏在X_{cont}中，经过互联网传输后，从中，经过互联网传输后，从。
Denoising diffusion implicit models 阅读笔记
icylling的专栏
09-21 621
Denoising diffusion probabilistic models (DDPMs)从马尔科夫链中采样生成样本，需要迭代多次，速度较慢。Denoising diffusion implicit models (DDIMs)的提出是为了加速采样过程，减少迭代的次数，并且要求DDIM可以复用DDPM训练的网络。
Denoising diffusion implicit models 阅读笔记2
icylling的专栏
01-25 1083
Denoising diffusion probabilistic models (DDPMs)从马尔科夫链中采样生成样本，需要迭代多次，速度较慢。Denoising diffusion implicit models (DDIMs)的提出是为了在复用DDPM训练的网络的前提下，加速采样过程。加速采样的基本思路是，原本的生成过程是从T⋯1的序列逐步采样，加速时考虑从T⋯1的子序列采样，通过跳步的方式减少采样的步数。
论文阅读笔记：Denoising Diffusion Implicit Models （2）
u010948546的博客
04-01 1045
扩散模型DDIM
论文阅读笔记：Denoising Diffusion Implicit Models （4）
u010948546的博客
04-02 423
【代码】论文阅读笔记：Denoising Diffusion Implicit Models （4）
论文阅读笔记：Denoising Diffusion Implicit Models （1）
u010948546的博客
03-24 252
论文《Denoising Diffusion Implicit Models》来源：ICLR2021。
DENOISING DIFFUSION IMPLICIT MODELS 论文笔记
weixin_46872424的博客
01-12 1152
相较于DDPM来说，DDIM更具更加确定性的结果，并且可以减少一定的计算时间。DDPM是可以通过改变一定的参数比如论文中的是可以互相转化的，其实也提供了另外一种模型的思路，比如也可以只用DDIM中论文的一部分来减少DDPM模型的计算时间，或者直接应用DDIM在参数上改变，看看能否对超分辨或者图像降噪等问题有新的实验发现。注意：DDIM只是在重建阶段使用，Unet训练的参数和DDPM是一样的，也就是说是通过DDPM训练参数得到的Unet模型应用到DDIM上的，这点是不变的。
[Diffusion Model 笔记]DDIM 笔记 数学推导 Denoising Diffusion Implicit Models
YuQiao0303的博客
04-25 1785
DDIM只是一个采样的算法，其训练和DDPM是一样的。DDIM在推导采样公式时，没有用DDPM中q(xt|xt-1)的条件；同时把一个高斯噪声可以换成随机高斯噪声和预测的噪声的加权和，其中σk\sigma_kσk​是一个超参数，控制二者的权重xsαˉsx0∣k1−α‾s−σk2ϵθσkϵxs​αˉs​​x0∣k​1−αs​−σk2​​ϵθ​σk​ϵx0∣k1αˉk。
002_SSSS_ Denoising Diffusion Implicit Models
D_Trump的博客
06-24 3411
Denoising Diffusion Implicit Models 笔记
stable diffusion代码学习笔记
qq_33596242的博客
01-11 1929
其实就是log(1-alpha(右下角t)(头上直线))，没有带prev的都是当前时刻t，带prev的是前一时刻t-1。得到了上一刻的噪声图片x_prev后(也就是函数返回的img)，继续迭代，最终生成需要的图片。另外，还有一些参数是训练时候保存的，betas逐渐增大，用来控制噪声的强度。这部分代码应该就是PLMS加速采样用的，论文中有公式推理。
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
Iterative Noncoherent Angular Superresolution论文阅读
yangqoor的博客
04-02 704
在实际应用中，孔径尺寸常受平台（如无人机、卫星）物理限制，导致分辨率不足。（即对检测后的信号进行反卷积）突破这一限制，实现。传统理论认为，角分辨率由衍射极限公式。是提升分辨率的关键，但传统逆滤波（通过逐步逼近，避免直接计算病态的。）因噪声放大和频带截断问题失效。为避免直接逆滤波，作者引入。作者将传感器输出建模为。
论文阅读：GS-Blur: A 3D Scene-Based Dataset for Realistic Image Deblurring
Matrix-11
03-30 800
要训练去模糊网络，拥有一个包含成对模糊图像和清晰图像的合适数据集至关重要。现有的数据集收集模糊图像的方式主要有两种：一种是通过合成的方式，将连续的清晰帧进行聚合；另一种是使用复杂的相机系统来捕捉真实的模糊图像。然而，这些方法要么在模糊类型（模糊轨迹）方面提供的多样性有限，要么需要大量的人力来重建大规模数据集，无法充分反映现实世界中的模糊场景。为解决这一问题，我们提出了 GS - Blur 数据集，这是一个采用新方法合成的逼真模糊图像数据集。
Multi-Stage Progressive Image Restoration论文阅读
qq_45987837的博客
03-28 848
图像复原任务在恢复图像时需要在空间细节与高层语境化信息之间取得复杂的平衡。本文提出了一种新颖的协同设计方法，能够最优地平衡这些竞争目标。我们的核心方案是一种多阶段架构，通过逐步学习退化输入的复原函数，将整体恢复过程分解为更易管理的步骤。具体而言，我们的模型首先利用编码器-解码器架构提取语境化特征，随后将其与保留局部信息的高分辨率分支相结合。在每个阶段，我们引入了一种基于原位监督注意力机制的逐像素自适应设计，用于重新加权局部特征。这种多阶段架构的关键在于不同阶段之间的信息交换。
R-GCN-Modeling Relational Data with GraphConvolutional Networks（论文笔记）
水深00安东尼的博客
03-30 1160
R-GCN通过允许不同关系类型之间的信息传播，能够更好地捕捉图中的复杂关系结构，从而提高了知识图谱补全的效果。
【论文阅读】Backdoor Defense via Test-Time Detecting and Repairing
开心星人的博客
04-01 615
为了防御后门攻击，以往的研究主要集中在使用干净数据在模型部署前去除后门攻击。在本文中，我们研究了利用测试时部分被污染的数据来去除模型中的后门的可能性。为了解决这个问题，我们提出了一种两阶段方法 TTBD。在第一阶段，我们提出了一种后门样本检测方法 DDP，用于从一批混合的、部分被污染的样本中识别出被污染的样本。一旦检测出被污染的样本，我们利用Shapley 估计来计算神经元的重要性贡献，定位受污染的神经元，并对其进行剪枝，以去除模型中的后门。
论文笔记：ASTTN模型
Ada的博客
04-01 705
这种方法在建模复杂的时空关系时尤为重要，尤其是在原始邻接信息可能不完整或不足以完全表达节点间依赖性的情况下。直接计算全局时空注意力（full ST-attention）会导致计算复杂度过高，难以扩展到大规模数据。而自适应邻接矩阵的引入可以。
数据分析与知识发现 论文阅读【信息抽取】
最新发布
jieshenai的博客
04-02 684
数据分析与知识发现期刊 信息抽取相关论文阅读
denoising diffusion probabilistic models
09-19
去噪扩散概率模型（Denoising Diffusion Probabilistic Models）是一种用于图像去噪的方法。它基于概率图模型，并通过对图像进行迭代扩散来降低噪声水平。 这种方法的关键思想是将图像看作是由真实图像和噪声构成的混合图像。通过建立一个概率图模型，可以对真实图像和噪声进行建模。然后，通过对这个概率模型进行扩散操作，可以较好地恢复出真实图像，并削弱噪声的影响。 扩散步骤通过将图像中的像素与周围像素进行交换来实现。每次迭代都会选择当前像素与周围像素交换的概率，这个概率是根据概率模型计算得出的。通过多次迭代，概率模型中的信息会通过扩散过程逐渐传播，从而减小噪声的影响，同时提高对真实图像的估计。 特别值得一提的是，Denoising Diffusion Probabilistic Models 方法不需要训练数据集，而是直接通过对图像的迭代扩散来进行去噪。这使得该方法在实际应用中具有较高的灵活性和适用性。 总结来说，去噪扩散概率模型是一种使用概率图模型和迭代扩散操作来降低图像噪声的方法。它通过对图像进行多次迭代的扩散操作，逐渐减小噪声的影响，从而恢复出真实图像。这种方法的优点包括不需要训练数据集、适用性强等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值