【图像超分入门】第四章：生成对抗网络《SRGAN与Real-ESRGAN：追求视觉真实感》

本文链接：https://blog.youkuaiyun.com/2403_83044722/article/details/146991895

生成对抗网络在超分辨率中的革命：从SRGAN到Real-ESRGAN

引言：为什么需要GAN？

在图像超分辨率领域长期存在一个根本矛盾：高PSNR不等于高视觉质量。传统方法产生的图像虽然数值指标优秀，但常常过度平滑、缺乏真实纹理。2017年，SRGAN首次将生成对抗网络(GAN)引入超分领域，开创了感知驱动超分的新范式。本文将带您深入理解这一技术革命，并揭示其最新进展Real-ESRGAN如何解决实际应用中的痛点。

一、GAN如何改变超分游戏规则？

1.1 判别器：真实感的仲裁者

SRGAN的核心创新在于引入了一个与生成器(G)对抗的判别器(D)：

graph LR
    G[生成器] --> |生成HR图像| D[判别器]
    RealHR --> |真实HR图像| D
    D --> |真伪判断| Loss

判别器的设计要点：

采用PatchGAN结构（局部真伪判别）
层级式特征提取（VGG16基础）
输出空间分辨率降为16×16（平衡计算与效果）

1.2 对抗损失的魔法

对抗损失函数促使生成器欺骗判别器：

这种博弈过程最终使生成结果在数据分布上接近真实图像，产生更自然的纹理细节。

二、感知损失：超越像素级匹配

2.1 VGG特征空间的神奇之处

SRGAN提出用预训练VGG网络的激活值作为感知损失：

其中ϕi,jϕi,j表示VGG19第ii层第jj个卷积的特征图。

关键洞见：

使用ReLU5-3层的特征
比像素损失更接近人类视觉感知
尤其擅长保留语义一致性

2.2 三明治损失函数

SRGAN的完整损失函数组合：

内容损失：VGG特征距离（主导）
对抗损失：GAN判别器输出
正则损失：小权重像素级L1约束

三、Real-ESRGAN：面向真实场景的突破

3.1 更复杂的退化建模

原SRGAN假设简单的双三次下采样，而Real-ESRGAN采用：

高阶退化模型：
- 随机模糊核（各向异性高斯核）
- 混合噪声（高斯+泊松+JPEG噪声）
- 多次压缩模拟
循环数据生成：
HR → LR → HR’ → LR’ 的循环退化
确保LR-HR对更符合真实情况

3.2 RRDB网络架构创新

残差密集残差块（RRDB）改进：

移除所有批归一化层
密集连接+残差连接的复合结构
增加残差缩放因子(0.2)

class RRDB(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv1 = nn.Conv2d(channels, channels, 3, padding=1)
        self.conv2 = nn.Conv2d(channels*2, channels, 3, padding=1) 
        self.conv3 = nn.Conv2d(channels*3, channels, 3, padding=1)
        self.res_scale = 0.2

    def forward(self, x):
        x1 = F.leaky_relu(self.conv1(x), 0.2)
        x2 = F.leaky_relu(self.conv2(torch.cat([x, x1], 1)), 0.2)
        x3 = self.conv3(torch.cat([x, x1, x2], 1))
        return x + x3 * self.res_scale

四、实战：老照片修复全流程

4.1 典型处理流程

预处理阶段：
- 自动检测并修复划痕（使用Noise2Noise）
- 颜色校正（白平衡调整）
超分辨率重建：
- 使用Real-ESRGAN通用模型
- 面部区域可切换GPEN人脸专用模型
后处理阶段：
- 局部锐化控制
- 伪影手动修复（Photoshop辅助）

4.2 常见伪影及解决方案

伪影类型	成因	解决办法
扭曲纹理	过度想象细节	降低GAN权重
面部畸变	人脸数据不足	混合人脸先验
色彩偏移	判别器过强	调整感知损失比
边缘振铃	锐化过度	高斯模糊后处理

4.3 实用建议

数据准备：
- 收集不同年代的老照片风格
- 模拟相应时期的退化特性

模型微调：

python train.py --model RealESRGAN \
               --dataset old_photos \
               --deg_type vintage \
               --per_weight 1.0 \
               --gan_weight 0.05