反卷积torch.nn.ConvTranspose2d详解（含转换成卷积运算的代码示例）

1.torch.nn.ConvTranspose2d参数介绍

官方文档：https://pytorch.org/docs/master/generated/torch.nn.ConvTranspose2d.html#torch.nn.ConvTranspose2d

torch.nn.ConvTranspose2d(in_channels, out_channels, kernel_size, stride=1, padding=0, output_padding=0, groups=1, 
                         bias=True, dilation=1, padding_mode='zeros', device=None, dtype=None)

※反卷积可以认为先对feature map进行插值/padding操作得到新的feature map然后进行常规的卷积运算。实际转换过程中存在的细节问题下文会提及。

2.如何得到新的feature map

①s=1：不进行插值操作，只进行padding操作

$$H_{out}=H_{in}+2\ast padding\_newsize其中,padding\_newsize=kernel\_size-padding-1$$

②s＞1：进行插值操作

1）在输入feature map的每2个像素之间增加(s-1)个0
2）在输入的底边和右边进行padding——(c+2p-k)mod(s)，其中c的计算方式见下方。
3）最后根据公式进行外围的padding。

eg: i=3, k=3, p=1, s=2

普通卷积输出的计算方式：$$outputfeaturemap=\lfloor \frac{n+2p-f}{s}+1\rfloor \times \lfloor \frac{n+2p-f}{s}+1\rfloor$$
同样地，计算反卷积的输出：$$3=\lfloor \frac{c+2\ast 1-3}{2}+1\rfloor \to c=5,6$$

• 当c=5时，(5+2-3)mod(2)=0，∴第2)步无需填充
• 而根据p’=k-p-1=1，则需要在feature map外围padding一圈，即可按照k’=3，s’=1进行卷积操作。
• 上述操作依次如下图所示：

==============================================================

• 当c=6时，(6+2-3)mod(2)=1，所以首先在底边和右边padding一行/列
• 同样p’=1，再在上一步的基础上，在feature map外围padding一圈。
• 上述操作依次如下图所示：

※torch.nn.ConvTranspose2d中的output_padding参数的设定为0或1就决定了c＝5还是6。

3.执行卷积操作

整个过程满足： $$H_{in}=(H_{out}\ast s-2\ast p+kernel\_size)，其中H_{in}为目标尺寸，H_{out}为原始尺寸$$

4.反卷积转换成卷积操作（代码示例）

1）插值操作

def interpolation(input, output_padding=0):    # padding use conv2d
    in_size = input.size()
    assert in_size[2]==in_size[3]
    inter_size = 2 * in_size[2] - 1
    output = torch.zeros(in_size[0], in_size[1], inter_size, inter_size)
    for i in range(in_size[0]):
        for j in range(in_size[1]):
            for m in range(in_size[2]):
                for n in range(in_size[3]):
                    output[i][j][2*m][2*n] = input[i][j][m][n]
    return output

2）卷积操作
※需要注意的是，torch.nn.ConvTranspose2d默认权重的排布方式和Conv2d是不同的，需要进行重新排布再进行常规的卷积操作。可以通过下方函数将反卷积操作转换为插值和卷积两步操作（这里的例子刚好没有底边和右边padding的情况）。

def compare_conv_deconv(input, weight, b, out):
    inter_input = interpolation(input)
    conv_wq = torch.flip(weight,dims=[2,3])
    conv_wq = conv_wq.transpose(0,1)
    test_out = torch.nn.functional.conv2d(inter_input, conv_wq, bias=b, stride=(1,1), padding=2, dilation=1, groups=1)  # kernel_size=4
    if out.equal(test_out):
        print("all results are correct!")
    return conv_wq, b

参考链接：https://blog.youkuaiyun.com/qq_41076797/article/details/114494990