PASD：Pixel-Aware Stable Diffusion for Realistic Image Super-resolution and Personalized Stylization

目录

Motivation

Method

Degradation Removal Module

Pixel-Aware Cross Attention (PACA)

Adjustable Noise Schedule

High-Level Information

Training Strategy

个性化风格化

Experiment

Idea

---

 

GitHub - yangxy/PASD: [ECCV2024] Pixel-Aware Stable Diffusion for Realistic Image Super-Resolution and Personalized Stylization

通过解决预训练的stableSR无法保持可信的像素结构以及跳跃连接需要在图像空间进行额外训练的问题，提出了一种像素感知稳定扩散(PASD)网络来实现图像的超分辨率和个性化。

具体地，引入了像素感知的交叉注意模块，使扩散模型在像素级感知图像局部结构。退化去除模块用于提取退化不敏感特征，以图像高级信息指导扩散过程。引入可调噪声调度，进一步提高图像恢复结果。

可信的像素结构：就是保真度的意思，这个作者写论文的表述方式挺诡的，全文有多处这种看起来很高级的表述方式，但其实就是最基础的知识

Motivation

图片在采集过程中经常面临着多重混合退化，例如低分辨率、模糊和噪声等。过去的深度学习模型因为模型设计时对忠实度的要求常常会给出过度平滑的结果。

• 基于GAN的算法广泛应用于超分任务中，但是基于GAN的方法常常会产生伪影，无法生成丰富逼真的图像细节。
• DDPM在图像生成、图像转译领域取得了出色的成果，是GAN的有力替代品。基于DDPM/DDIM的文生图、文生视频先验被广泛应用于下游任务中。预训练的文生图稳定扩散模型能生成高分辨率高质量的自然图片，ControlNet使多类型的条件控制被应用到稳定扩散先验中。但是ControlNet不适用于像素感知的任务，直接使用会产生不一致的结果。
• 也有一些基于Controlnet的超分辨率算法，但它们需要跳跃连接来提供像素级的信息，需要额外的训练。

Method

该方法基于生成扩散先验。利用了预训练 StableDiffusion模型。除了预训练的SD模型外，PASD还有四个主要模块：