浙大 | FcaNet：频域通道注意力机制（keras实现）

FcaNet: Frequency Channel Attention Networks 

paper:http://arxiv.org/abs/2012.11879 

code:https://github.com/dcdcvgroup/FcaNet

这篇论文，将GAP推广到一种更为一般的2维的离散余弦变换（DCT）形式，通过引入更多的frequency analysis重新考虑通道的注意力。

摘要

注意机制，特别是通道注意，在计算机视觉领域取得了巨大的成功。许多工作集中在如何设计有效的通道注意机制，而忽略了一个基本问题，即通道注意机制使用标量来表示通道，这由于大量信息损失而困难。在这项工作中，从一个不同的观点开始，并将特征通道表示问题视为一个使用频率分析的压缩过程。在频率分析的基础上，用数学方法证明了传统的全局平均池化是频域特征分解的一种特例。在此基础上，自然地推广了频域通道注意机制的压缩问题，并提出了具有多频谱信道注意特性的方法，称为FcaNet。FcaNet很简单，但也很有效。可以在计算中的几行代码实现该方法。此外，与其他通道注意方法相比，该方法在图像分类、目标检测和实例se等方面都取得了最先进的效果。

论文主要思想

作者认为在通道注意力里的GAP抑制了通道之间的多样性，且GAP本质是离散余弦变换（DCT）的最低分频。若从频域角度分析，可以使用更多有用的其它分量，从而形成一个多谱通道注意力（Multi-Spectral Channel A