FFA-Net: Feature Fusion Attention Network for Single Image Dehazing

论文链接：https://arxiv.org/pdf/1911.07559v2.pdf

代码链接：https://github.com/zhilin007/FFA-Net

目录

论文链接：https://arxiv.org/pdf/1911.07559v2.pdf

代码链接：https://github.com/zhilin007/FFA-Net

摘要

Fusion Feature Attention Network (FFA-Net)（融合特征注意网络）

Feature Attention (FA) （特征注意）

Basic Block Structure 

 Group Architecture and Global Residual Learning(组结构和全局剩余学习)

Feature Fusion Attention

Loss Function

Implementation Details

---

摘要

本文提出了一种端到端的特征融合注意网络(FFA-Net)来直接恢复无雾图像。FFA-Net架构包括三个关键组件:1)考虑到不同的通道特征包含完全不同的加权信息，并且雾度分布在不同的图像像素上是不均匀的，新颖的特征注意(FA)模块将通道注意与像素注意机制相结合。FA不平等地对待不同的特征和像素，这在处理不同类型的信息时提供了额外的灵活性，扩展了CNN的表示能力。2)基本块结构由局部残差学习和特征关注组成，局部残差学习允许通过多个局部残差连接绕过较不重要的信息，如薄雾霾区域或低频，让主网络架构专注于更有效的信息。3)基于注意力的不同层次特征融合(FFA)结构，特征权重自适应地从特征注意力(FA)模块学习，给予重要特征更多的权重。这种结构还可以保留浅层的信息，并传递到深层。

先前的基于CNN的图像去雾网络同等地对待通道式和像素式特征，但是雾在图像上分布不均匀，非常薄的雾的权重应该与厚雾区域像素的权重显著不同。此外，DCP还发现，一些像素在至少一个颜色(RGB)通道中具有非常低的亮度是非常常见的，这进一步说明不同的通道特征具有完全不同的加权信息。如果我们平等地对待它，它将在不重要的信息上花费大量的资源进行不必要的计算，网络将缺乏覆盖所有像素和通道的能力。最后，它将极大地限制网络的代表性。

本文进一步设计了一个新颖的特征注意(FA)模块。FA模块分别在通道方式和像素方式特征中组合通道注意力和像素注意力。FA不平等地对待不同的特征和像素，这可以在处理不同类型的信息时提供额外的灵活性。

本文采用跳跃连接和注意机制的思想，设计了一个由多个局部剩余学习跳跃连接和特征注意组成的基本块。一方面，局部残差学习允许通过多次局部残差学习忽略薄雾霾区域的信息和低频信息，使得主网络学习到更多有用的信息。通道注意力进一步提高了FFA-Net的性能。

随着网络越走越深，浅层的特征信息往往难以保存。为了识别和融合不同级别的特征，U-Net和其他网络努力整合浅层和深层信息。本文提出了一种基于注意力的特征融合结构(FFA ),这种结构可以保留浅层信息并将其传递到深层。最重要的是，在将所有特征送入特征融合模块之前，FFA-Net对不同级别的特征赋予不同的权重，权重是通过FA模块的自适应学习获得的。这比那些直接指定权重的要好得多。

本文贡献：

（1）针对单幅图像去雾，提出了一种新的端到端特征融合注意力网络FFA-Net。FFA-Net大大超越了以前最先进的图像去雾方法，在有厚雾和丰富纹理细节的区域表现尤为突出。在图像细节和色彩保真度的恢复方面也有较大的优势。

（2）本文提出了一种新的特征注意模块，它结合了通道注意和像素注意机制。该模块在处理不同类型的信息时提供了额外的灵活性，将更多的注意力集中在厚雾像素和更重要的通道信息上。

（3）我们提出了一个由局部残差学习和特征注意(FA)组成的基本块，局部残差学习允许通过多次跳跃连接绕过薄雾霾区域的信息和低频信息，特征注意(FA)进一步提高了FFA-Net的能力。

（4）本文提出了一种基于注意力的特征融合(FFA)结构，这种结构可以保留浅层信息并传递到深层。此外，它不仅能融合所有特征，还能自适应地学习不同层次特征信息的不同权重。最后，它取得了比其他特征融合方法更好的性能。

Fusion Feature Attention Network (FFA-Net)（融合特征注意网络）

如图2所示，FFA-Net的输