Group Equivariant Convolutional Networks

Group Equivariant Convolutional Networks

Cohen T, Welling M. Group equivariant convolutional networks[C]//International conference on machine learning. 2016: 2990-2999.
https://github.com/tscohen/gconv_experiments

传统的卷积具有平移不变性（translation symmetry）：对输入图片进行平移后再输入网络，得到的输出与未平移的输出仍然满足平移关系

提取不变性的数学表达式：

x表示输入，$T_g$表示变换，$\Phi$表示特征提取过程（即卷积过程），上式的含义是输入x经过平移变换得到$T_{g}x$，对$T_{g}x$提取特征，等价于：直接对x提取特征再进行$T_g^{\prime }$变换。对于平移不变性而言，这边的变换$T_g$和$T_g^{\prime }$等价，均为平移变换。

进一步理解不变性：
根据上图，有两张脸x和y，两者经过特征提取之后映射到同一个点$\Phi (x)=\Phi (y)$，假设对这两张脸进行变换$T_g^1$，得到旋转后的脸$T_g^{1}x$和$T_g^{1}y$，再进行特征提取，得到$\Phi (T_g^{1}x)$和$\Phi (T_g^{1}y)$，根据变换不变性：$\Phi (T_{g}x)=T_g^{\prime }\Phi (x)$，有：

$\Phi (T_g^{1}x)=T_g^2\Phi (x)$

$\Phi (T_g^{1}y)=T_g^2\Phi (y)$

又因为$\Phi (x)=\Phi (y)$，所以得到$\Phi (T_g^{1}x)=\Phi (T_g^{1}y)$，即：旋转之后再提取特征，两张脸还是能够被映射到同一个点，即具有旋转不变性

那么，为什么传统的CNN会具有平移不变性呢？ 作者对此进行了如下推导：
首先传统CNN的卷积过程可以表示为：

上面的式子表示卷积，下面的式子表示相关（correlation），两者应用于CNN时从训练结果上讲是等价的。x表示坐标，f表示特征图，$l$表示第$l$层，$K^l$表示通道数，$\psi$表示卷积核，上式表现了一个卷积核$\psi$在特征图上卷积的过程。

那么，假设对输入的特征图f做位移：$y\to y+t$，可以得到以下推导过程：

$L_t$表示进行位移t的变换，上式表明：先对特征图f进行位移t的变换再通过卷积核$\psi$提取特征，等价于：先通过卷积核$\psi$提取特征，再进行位于t的变换。由此，得到位移不变性。

那么，为什么传统的CNN没有旋转不变性呢？ 作者进行了对应的旋转变换的推导证明$[[L_{r}f]\ast \psi ](x)=L_r[f\ast [L_{r^{-1}}\psi ]](x)$:

$[[L_{r}f]\star \psi ](x)={\sum }_{y}f(A_{r}y)\psi (y-x)={\sum }_{y}f(y)\psi (A_r^{-1}y-x)={\sum }_{y}f(y)\psi (A_r^{-1}(y-A_{r}x))=L_r[f\star [L_{r^{-1}}\psi ]](x)$

其中，$A_r$表示旋转矩阵。
直观上理解，若对特征图进行旋转之后再进行卷积，等价于：对卷积核做反向的旋转，再对原始特征图进行卷积，再把卷积得到的结果旋转回来。这与不变性的定义不符（按照不变性的定义，应该是等价于：特征图直接与卷积核卷积，再进行旋转），因此，传统的CNN没有旋转不变性。

以下是脑洞（存在问题）：
假设我们定义一个新的卷积操作：
$[f\diamond {\psi }^i](\theta )={\sum }_{y\in {\mathbb{Z}}^2}{\sum }_{k=1}^{K^l}{f}_k(y){\psi }_k^i(A_{\theta }^{-1}y)$
其中，$A_{\theta }$表示旋转角度为$\theta$的旋转矩阵。
根据这个卷积操作，推导旋转不变性：
$[[L_{r}f]\diamond \psi ](\theta )={\sum }_{y}f(A_{r}y)\psi (A_{\theta }^{-1}y)={\sum }_{y}f(y)\psi (A_r^{-1}{A}_{\theta }^{-1}y)={\sum }_{y}f(y)\psi (A_{(\theta +r)}^{-1}y)=L_r[f\diamond \psi ](\theta )$

作者由此提出了G-CNN，定义了一个新的卷积操作：

其中$g\in G$，表示变换的集合，在第一层之后，上式各函数可以定义在离散集合$G$上：

推导不变性，$h\to uh$:

这篇文章的主要思想如上。