卷积的矩阵理解

卷积是神经中常见的一种操作，人们通常习惯从直觉上理解卷积层的卷积操作。但是在代码实现的时候通常需要更为数学化的卷积表达形式，而且理解卷积的数学形式反过来可以帮助更好地理解卷积操作的本质。

卷积的数学形式通常通过矩阵乘法来表示。本文从卷积最一般的数学形式开始讲起，并从一般形式变换为不同网络中的各种特殊形式。

1. 卷积的一般数学形式

我们假设Conv(·)表示卷积操作，左参数矩阵（下简称左阵）A∈R^O×N，输入矩阵（下简称输入）X∈R^N×C，右参数矩阵（下简称右阵）W∈R^C×H，其中：O代表经过一次卷积操作后输出的样本数量，N代表输入的样本数量，C代表每个样本的特征维度（不同网络中有不同的称呼，例如CNN中称为channel），H代表经过一次卷积操作后输出的每个样本的特征维度。由此我们定义一次卷积操作的数学形式为：

Conv(X) = AXW （Eq. 1）

在一次卷积操作中，左阵A表示不同样本间的聚合方式，即不同样本间的信息传递。A的每一行都表示输出的样本是如何由输入的样本聚合而成，非零的部分组成了卷积核的感受野。当O≤N时，就是卷积操作；当O>N时，就是反卷积操作。

右阵W表示同一样本中特征的聚合方式，即同一样本内的信息传递。右阵W每一列都表示一种聚合方式，也就是通常所说的卷积核，每一种卷积核都表示对样本进行了一次潜在信息的挖掘。右阵的列维度H表示卷积核的数量，即经过一次卷积操作后，每个样本的隐向量的维度。

但需要注意的是，在上述一般形式中，所有的卷积核都共享同一种样本间的聚合方式，即感受野的形状和分布 。但是在实际网络架构中，通常不同的卷积核对应的感受野不一定相同，这就需要对Eq. 1进行变化：

Conv(X) = diag(A₁ A₂ … A_H) · diag(X X … X) · diag(w₁ w₂ … w_H) = diag(A_i<