


越往后,加的噪声越多,逐渐递增
正常的话,类似RNN,前向传递,不利于模型训练。
如果直接从x0到xt最好,DPPM这篇论文就实现了这一目标

beta这一参数在扩散过程是已知的,前期设计好,从0.0001-0.002,线性衰减,,或者其他衰减,因此,beta1…beta_n肯定是已知的。



前向加噪声 : 前向可以直接从x0求出来xT
反向去噪声 : 反向不能直接从xT求出来x0
xT已经知道,求XT-1 … 直到求 x0
根据xT求xT-1比较难求,可以根据贝叶斯,由前向过程中的已知条件求解




以上zt不是累乘,公式表示有误
需要求x0,但是在逆过程中x0明显未知,因此,可以使用xt替换x0
有一个参数无法直接求解,
无法直接求解的问题,可以使用近似解,训练一个模型去预测Xt时刻的噪声
loss就是正向过程 加的噪声 和 逆向过程 预测的噪声之间的 某种度量
前向过程提供训练的标签,逆向过程去拟合这个标签


扩散模型为什么要用U-Net?
原始论文从信息论和信息熵的角度讲解的,以上简化了
训练完后如何去使用?
2015年提出 - 2020年DALL-E出来才火

推导过程挺复杂的,编写成代码的算法流程-大道至简,
训练的时候,t是随机的,不是训练固定的步骤数目,防止陷入某种规律当中
- 训练过程:

- 采样过程

文章探讨了扩散模型中噪声的逐步增加和减少过程,特别是在DPPM论文中提出的直接从x0到xt的优化方法。通过预设的beta参数线性衰减,模型能在前向过程中加噪声,然后在反向过程中利用贝叶斯原理预测并去除噪声。训练时采用U-Net结构,并通过随机选取时间步长防止模式塌陷。训练过程本质上是一个采样过程,目标是使正向和逆向过程的噪声预测接近。
1905

被折叠的 条评论
为什么被折叠?



