qq_52648919的博客

论文链接：[2002.12416] Learning in the Frequency Domain (arxiv.org)https://arxiv.org/abs/2002.12416论文代码：kaix90/DCTNet (github.com)https://github.com/kaix90/DCTNeta）在传统方法中，高分辨率的RGB图片通常在CPU上进行预处理，然后转移到GPU上进行推理。因为没有经过压缩的RGB图片很大，所以CPU和GPU之间的传输带宽（CB）要求很高。为减少计算代价和传输带

从1）中证明的定理可知，在通道注意力中使用GAP意味着只有最低频的信息被保留了，所有其他频率的分量都被忽略了，但因为它们在表示通道中都包含了有用的信息，所以不应该被忽略掉。1）通常来说，由于有限的计算资源开销，通道注意力机制需要对每个通道的标量进行计算来获得权重函数，而全局平均池化(GAP)操作由于其易用性和高效性无疑是最佳的选择。2）选用其他频率分量（除最高频率分量外）时，它们的Top-1 accuracy比最低频率分量的只少了0.5%以内，说明其他频率分量在通道注意力机制中也同样有效。