- 博客(3)
- 收藏
- 关注
RSS订阅原创 LAPTOP-Diff：用于压缩扩散模型的层修剪和归一化蒸馏
在AIGC时代，对低成本甚至设备端应用扩散模型的需求日益增加。在压缩Stable Diffusion模型（SDM）方面，提出了几种方法，其中大多数利用手工设计的层移除方法来获得更小的U-Net，同时利用知识蒸馏来恢复网络性能。然而，这种手工设计的层移除方式效率低下，缺乏可扩展性和泛化性，并且在重新训练阶段使用的特征蒸馏面临着不平衡问题，即一些数值显著的特征损失项在整个重新训练过程中占主导地位。为此，本文提出了用于压缩扩散模型（LAPTOP-Diff）的层剪枝和归一化蒸馏方法。
2024-04-24 10:58:41
962
原创 BrushNet：一种具有分解双分支扩散的即插即用图像修复模型
随着扩散模型 （DM） 的出现，图像修复是恢复损坏图像的过程，取得了重大进展。尽管有这些进步，但目前对修复的 DM 改编，包括对采样策略的修改或特定于 inpainting 的 DM 的开发，经常会出现语义不一致和图像质量下降的问题。为了应对这些挑战，我们的工作引入了一种新的范式：将蒙面图像特征和噪声潜伏物划分为单独的分支。这种划分大大减少了模型的学习负荷，促进了以分层方式细致入微地合并基本的掩蔽图像信息。
2024-03-28 15:22:54
3128
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人