8--转置卷积

原创已于 2022-09-02 18:07:23 修改 · 874 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #深度学习 #算法

于 2022-09-01 11:26:10 首次发布

深度学习专栏收录该内容

35 篇文章

订阅专栏

卷积核汇聚等方法都是下采样，会使得图像变小，卷积导致的图像变小是为了提取特征，而池化下采样是为了降低特征维度。但在像素级分类的语义分割中，需要使得输入和输出图像维度相同，但在卷积神经网络中空间维度（图片的高和宽）会变小，这里可以使用转置卷积这类上采样方法来增加特征图的空间维度。

6.1 基本运算

如下图所示，假设步幅为1且没有填充。卷积核依次对输入的每个元素进行内积运算，最后将每个结果进行相加得到转置卷积的输出。X为输入，Y为输出，h和w分别是核张量K的高和宽。

对输入矩阵X和卷积核矩阵K实现基本的转置卷积运算，这里转置卷积通过卷积核“广播”输入元素，从而产生大于输入的输出。


def trans_conv(X,K):
    h, w = K.shape
    Y = torch.zeros((X.shape[0]+h-1,X.shape[1]+w-1))
    for i in range(X.shape[0]):
        for j in range(X.shape[1]):
            Y[i:i+h,j:j+w] += X[i,j]*k
    return Y

#当x和k为四维张量时，可以使用nn.ConvTranspose2d
X = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
K = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
X, K = X.reshape(1, 1, 2, 2), K.reshape(1, 1, 2, 2)
tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, bias=False)
tconv.weight.data = K
tconv(X)

输出：
tensor([[[[ 0.,  0.,  1.],
          [ 0.,  4.,  6.],
          [ 4., 12.,  9.]]]], grad_fn=<ConvolutionBackward0>)

6.2 填充和步幅和多通道

与常规卷积不同，在转置卷积中，填充被应用于的输出（常规卷积将填充应用于输入）。例如，当将高和宽两侧的填充数指定为1时，转置卷积的输出中将删除第一和最后的行与列。

tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, padding=1, bias=False)
tconv.weight.data = K
tconv(X)

输出：
tensor([[[[4.]]]], grad_fn=<ConvolutionBackward0>)

当步幅为2时，6.1中的计算过程如下图：

对于多个输入和输出通道，转置卷积与常规卷积以相同方式运作。

X = torch.rand(size=(1, 10, 16, 16))
conv = nn.Conv2d(10, 20, kernel_size=5, padding=2, stride=3)
tconv = nn.ConvTranspose2d(20, 10, kernel_size=5, padding=2, stride=3)
tconv(conv(X)).shape == X.shape

#输出：
True

6.3 通过矩阵变换来实现

可以使用矩阵乘法来实现卷积。转置卷积层能够交换卷积层的正向传播函数和反向传播函数。实现代码如下，注意这里最后只是实现了形状大小是一样的，实际里面的值已经发生改变。

X = torch.arange(9.0).reshape(3, 3)
K = torch.tensor([[1.0, 2.0], [3.0, 4.0]])
Y = d2l.corr2d(X, K)

def kernel2matrix(K):
    k, W = torch.zeros(5), torch.zeros((4, 9))
    k[:2], k[3:5] = K[0, :], K[1, :]
    W[0, :5], W[1, 1:6], W[2, 3:8], W[3, 4:] = k, k, k, k
    return W

W = kernel2matrix(K)
Z = trans_conv(Y, K)
Z == torch.matmul(W.T, Y.reshape(-1)).reshape(3, 3)

#输出：
tensor([[True, True, True],
        [True, True, True],
        [True, True, True]])

给定输入向量x和权重矩阵W，卷积的前向传播函数可以通过将其输入与权重矩阵相乘并输出向量y=Wx来实现。由于反向传播遵循链式法则和 $\nabla_{\mathbf{x}}\mathbf{y}=\mathbf{W}^\top$ ，卷积的反向传播函数可以通过将其输入与转置的权重矩阵 $\mathbf{W}^\top$ 相乘来实现。因此，转置卷积层能够交换卷积层的正向传播函数和反向传播函数：它的正向传播和反向传播函数将输入向量分别与 $\mathbf{W}^\top$ 和W相乘。