总的来说,这篇论文的主要做了两件事,第一,设计RIR,加深网络;第二,引入通道注意力机制(CA),说白了就是给通道加一个权重,表明不同通道提取出来的不同特征的重要性不同,这个权重是学习出来的,后文有详细介绍。
提出问题
(1)更深层次的图像SR网络更难训练,仅仅通过叠加剩余块来构建更深层次的网络很难得到更好的改善。
(2)低分辨率的输入和特征包含丰富的低频信息,而目前主流的基于cnn的方法对每个信道特征都一视同仁,缺乏跨特征信道的识别学习能力,阻碍了深度网络的表征能力。
解决方法
(1)文章提出了一种残差信道注意网络(RCAN)来获得非常深的可训练网络,同时自适应地学习更多有用的信道特征。
(2)为了简化超深网络(如400层以上)的训练,提出了残差(residual in residual, RIR)结构,其中残差组(residual group, RG)作为基本模块,长跳连接(long skip connection, LSC)允许粗级别的残差学习。在每个RG模块中,使用短跳连接(SSC)将几个简化的剩余块堆叠起来。长跳连接和短跳连接以及残差块的近路允许大量低频信息通过这些基于身份的跳连接,从而简化了信息的流动。
(3)提出了通道注意(CA)机制,通过对特征通道之间的相互依赖关系进行建模,自适应地调整每个通道的特征。这样的CA机制使我们所提出的网络能够专注于更有用的通道,提高识别学习能力。
网络架构
RCAN主要由四个部分组成:
- 浅层特征提取
- 残差(RIR)深度特征提取
- 放大模块
- 重构部分