【论文速看】DL最新进展20241010-扩散模型、目标检测、行人检测

【扩散模型】

[]Faster Diffusion: Rethinking the Role of UNet Encoder in Diffusion Models

论文链接：https://arxiv.org/pdf/2312.09608

代码链接：https://github.com/hutaiHang/Faster-Diffusion

扩散模型中的关键组件之一是用于噪声预测的UNet。虽然有几项研究探索了UNet解码器的基本特性，但其编码器在很大程度上仍未被深入研究。这项工作对UNet编码器进行了首次全面的研究。通过实证分析编码器特征，并对它们在推断过程中的变化提供了重要见解。特别是，作者发现编码器特征变化平缓，而解码器特征在不同时间步长下表现出显著变化。这一发现启发在特定相邻时间步长省略编码器，并在前一时间步长循环使用编码器特征以供解码器使用。基于这一观察，引入了一种简单但有效的编码器传播方案，以加速多种任务的扩散采样。借助所提传播方案，可以并行执行特定相邻时间步长的解码器。此外，还引入了一种先验噪声注入方法，以提高生成图像的纹理细节。除了标准的文字到图像任务外，还在其他任务上验证了所提方法：文字到视频、个性化生成和参考引导生成。在不利用任何知识蒸馏技术的情况下，所提方法分别将Stable Diffusion (SD) 和 DeepFloyd-IF 模型的采样速度提高了41%和24%，同时保持高质量的生成性能。