集智书童 | DuoDiff: 提升浅层 Transformer 性能的扩散模型， 双 Backbone 件扩散模型在图像处理中的应用 ！

本文来源公众号“集智书童”，仅用于学术分享，侵权删，干货满满。

原文链接：DuoDiff: 提升浅层 Transformer 性能的扩散模型， 双 Backbone 件扩散模型在图像处理中的应用 ！

扩散模型在图像生成方面取得了前所未有的性能，但由于其迭代采样过程，推理速度较慢。

为了解决这个问题，最近提出了早期终止（Early-exiting）的方法，其中，去噪网络的深度根据每个采样步骤的（估计）难度进行自适应。

在这里，作者发现在当前自适应扩散模型的采样过程中存在一个有趣的“相变”：在初始采样步骤中，去噪网络始终过早地退出，直到突然切换到使用整个网络。

基于这个发现，作者提出了一种加速生成的方法：在初始采样步骤中使用较浅的去噪网络，而在后续步骤中使用较深的网络。

作者在实验中证明了作者的双骨架方法 DuoDiff 在推理速度和生成质量上都优于现有的早期终止扩散方法。

重要的是，DuoDiff 易于实现，并且与加速扩散的现有方法相辅相成。

1 Int