Octave Convolution学习笔记 （附代码）

论文地址：https://export.arxiv.org/pdf/1904.05049

代码地址：https://gitcode.com/mirrors/lxtgh/octaveconv_pytorch/overview?utm_source=csdn_github_accelerator

1.是什么？

OctaveNet网络属于paper《Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution》，是CVPR2019中的一篇论文。

Octave Convolution是一种用于卷积神经网络的新型卷积操作，旨在减少卷积神经网络中的空间冗余。它通过将输入特征图分成高频和低频两个部分，然后在这两个部分上执行不同的卷积操作，从而实现减少计算量和内存占用的目的。Octave Convolution的主要思想是将高频和低频特征图分开处理，以便更好地利用它们的特性。这种方法可以在不损失精度的情况下减少计算量和内存占用，从而提高卷积神经网络的效率。

2.为什么

从频域的角度理解图像
我们都知道，一副图像从空间域的角度看，它一般情况下是一个3 × W × H 3 \times W \times H3×W×H的矩阵，矩阵中每一个位置都有一个[0,255]的值，而从频域的角度出发的话，一副图像都可以被分解为描述平稳变化结构的低空间频率分量（低频域、low-frequency）和描述快速变化的精细细节的高空间频率分量（高频域、high-frequency），就像下面这幅图：

最左侧为原始图像，中间为低频的部分，它比较多的反应的是图像的整体信息，最右侧为高频部分，它更多的反应图像的细节信息，比如边缘。这就好比空间域下的梯度，图像中存在边缘的地方，往往就是梯度大的地方。 

特征图的高频与低频表示
既然对于图像来说可以区分高频与低频，那么对于特征图也是这样，特征图无非就是一个channel更多的矩阵而已，但是对于一个端对端的CNN模型，总不能在网络中引入一种频域计算，所以Octave Convolution显示的定义了“下采样”操作后的特征图叫做“