CVPR2021/2020 超分生成类网络阅读笔记[先验问题]

一.GLEAN

• 文章：GLEAN: Generative Latent Bank for Large-Factor Image Super-Resolution

• 链接：https://ckkelvinchan.github.io/papers/glean.pdf

• Homepage：https://ckkelvinchan.github.io/projects/GLEAN/

• 思路：本文将GAN类炒粉网络分为两类，正常的训练与反演。
  \quad 第一类生成器既负责捕获自然图像特征，又负责保持对 GT 的保真度，不可避免地限制了逼近自然图像流形的能力，易产生伪像和不自然的纹理。
  \quad 反演的代表之一就是PULSE，其核心思路在于比较隐空间反演结果与输入的LR图像，获得最好的结果，但通常单图像训练较久，同时低维隐码 和图像空间中的约束不足以指导恢复过程，这些方法通常会生成低保真度的图像。
  

• 网络结构

• 
  1.编码器
  \quad 首先通过RRDN-Net模块[$E_0$]生成特征$f_0$，之后通过如下公式下逐步采样：
  
  $E_i$指一个步长为2的卷积+一个步长为1的卷积。
  最后，通过一次卷积+一次全连接生成隐向量$C$:
  
  2.生成 latent bank
  \quad 修改Style Gan，预训练后作为latent bank使用。
  \quad 首先，生成器的每个块不以一个隐向量作为输入，而是采用不同的隐向量来提高表达力。这种修改导致输出的伪像更少
  \quad 之后，在每个块中使用一个额外的卷积来进行特征融合
  
  \quad 最后，增加解码器，更好的融合特征

• 其它
  本方法的核心思想似乎是如何构造一个更为he合理的先验信息池，并有效的利用LR信息

二.DFSR

• 文章：Deep Face Super-Resolution with Iterative Collaboration between Attentive
  Recovery and Landmark Estimation
• 链接：
• 思路：人脸先验信息与辅助超分的研究。作者认为之前的方法【比如热图】存在两个问题：1.特征多基于LR图片，可能与HR不够适配；2. 基本当作多任务进行处理，没有相互促进，指导还不够直接和清楚，因为不同组件的结构变化可能没有被完全捕获和利用。
• 贡献：
  1.分支网络
  2.融合方法
• 网络结构：
  
  循环SR分支G包括低分辨率特征提取器G1，递归块GR和高分辨率生成层G2。 GR包括一个注意融合模块和一个循环SR模块。
  类似于SR分支，递归对齐分支包括一个预处理模块A1，一个递归沙漏模块AR和一个后处理模块A2。
  总体而言，一次前向传播中，SR图像由以下公式获得：
  
  L代表landmark，f是$G_2$的输入，U是上采样，网络有些回归的意思。
  landmark则由以下公式产生：
  
• 损失函数与训练策略
  1.生成损失
  
  
  
  2.判别损失
  
• landmark注意力图产生与融合
  
  包括左右眼，鼻子，眼睛，下巴五部分。分通道操作有两点好处：
  1.明确地强调了每个面部部位的局部结构来执行差异恢复；
  2.大大减少了通道的数量，提高框架的效率

参考

【1】https://cloud.tencent.com/developer/article/1819278
【2】https://blog.youkuaiyun.com/qq_37122156/article/details/114699200