[深度学习]转置卷积(Transposed Convolution)

本文以初学者角度出发,简洁地介绍了转置卷积的概念及其在TensorFlow中的实现方法,并通过示例展示了卷积与转置卷积的区别。

一.写在前面

在GAN(Generative Adversarial Nets, 直译为生成式对抗网络)中,生成器G利用随机噪声Z,生成数据。那么,在DCGAN中,这部分是如何实现呢?这里就利用到了Transposed Convolution(直译为转置卷积),也称为Fractional Strided Convolution。那么,接下来,从初学者的角度,用最简单的方式介绍什么是转置卷积,以及在Tensorflow中如何实现转置卷积。

 

二.卷积与矩阵相乘

考虑如下卷积层运算,其参数为(i=4,k=3,s=1,p=0),输出o=2。

输入:4 × 4 --> 16 × 1

输入矩阵的大小为4×4,将矩阵按照从左到右,从上到下的方式,变形为长度为16的一维向量。

示意图:

 

a00a01a02a03
a10a11a12a13
a20a21a22a23
a30a31a32a33

=>

a00
a01
a02
a03
a10
a11
a12
a13
a20
a21
a22
a23
a30
a31
a32
a33

 

 

卷积核:3 × 3 --> 4 × 16

按照卷积操作的原理,将3 × 3的矩阵,变形为4 × 16 的矩阵。

示意图:

 

w00w01w02
w10w11w21
w20w21w22

=>

 

w00w01w020w10w11w120w20w21w2200000
0w00w01w020w10w11w120w20w21w220000
0000w00w01w020w10w11w120w20w21w220
00000w00w01w020w10w11w120w20w21w22

 

输出:Y = CX, (4×16) × (16×1) = (4×1),则是一个[4,1]的输出特征矩阵,把它重新排列为2×2的输出特征矩阵,就可以得到最终的结果。

 

因此,卷积层的计算可以转换为矩阵之间相乘。对于同一个卷积核,卷积操作是Y=C × X,那么转置卷积操作可以理解为Y=Transposed(C) × T。

输入:2 × 2 --> 4 × 1

矩阵C的转置:16 × 4

输出: Y = CX, (16×4) × (4×1) = (16×1),则是一个[16,1]的输出特征矩阵,把它重新排列为4×4的输出特征矩阵,就可以达到转置卷积的效果。

 

三.直观理解

下面只考虑No zero padding, unit strides的情况。

举例,输入图像大小为2×2,想得到输出图像大小为4×4。

 

思维模式1:假设输入图像大小为4×4,输出图像大小为2×2。在正向卷积中,卷积核的高度和宽度均为3,步长s=1,边距p=0。将该卷积过程转置即可。

 

思维模式2:直接卷积。输入图像大小为2×2,卷积核的大小为3×3,步长s=1,边距p=2。

示意图如下:

 

此时,卷积核和步长均没有变化。只有边距变为2。

 

如何理解边距p=2?

可以通过卷积操作中输入与输出图像的联系来理解。例如,输出图像的左上角的像素只与输入图像的左上角的像素有关,输出图像的右下角的像素只与输入图像的右下角的像素有关。因此,卷积核在做卷积时,要输出最右最上角的一个像素,只会利用输入图像的最右最上角的一个像素,其他区域均会填充0。因此,边距p的大小为(卷积核的大小-1)。

 

本文只用于快速理解转置卷积,其他情况的理解,可参考http://deeplearning.net/software/theano_versions/dev/tutorial/conv_arithmetic.html

 

四.在Tensorflow中实现转置卷积

[API]:

conv2d_transpose(value,
                     filter,
                     output_shape,
                     strides,
                     padding="SAME",
                     data_format="NHWC",
                     name=None)

Args:
    value: 四维tensor,类型为float,默认shape为[batch, height, width, in_channels]。`NHWC`格式,shape为[batch, height, width, in_channels];`NCHW` 格式,shape为[batch, in_channels, height, width]。

    filter: 四维tensor,类型与value相同,shape为[height, width, output_channels, in_channels]。in_channels必须与value中的in_channels相同。
    output_shape: 一维tensor,表示转置卷积操作输出的shape。取值为,[batch, height, width, in_channels]。
    strides:步长。
    padding:`'VALID'` 或者`'SAME'`.

令W为输入的size,F为filter的size, S为步长,为向上取整符号。

对于‘VALID’,输出的形状计算如下:

     new_height=new_width=⌈(WF+1)S

对于‘SAME’,输出的形状计算如下:

new_height=new_width=⌈WS

  举例,当步长为2时,余下的窗口只有一列。此时,’VALID‘会将剩余的列进行舍弃,’SAME‘会用0将不够的列进行填充。
    data_format:  'NHWC'或者 'NCHW'。
    name: 返回的tensor的名称(可选)。

  Returns:
    转置卷积操作的输出结果,与value具有相同类型的tensor。

  需要注意的是:

1.output的shape不能随意指定,需要是可以经过filter,strides,padding可以得到的shape。

2.tf.nn.conv2d中的filter参数为[filter_height, filter_width, in_channels, out_channels],与tf.nn.conv2d_transpose中的filter的参数顺序不同。

3.conv2d_transpose会计算output_shape能否通过给定的filter,strides,padding计算出inputs的维度,如果不能,则报错。

也就是说,conv2d_transpose中的filter,strides,padding参数,与反过程中的conv2d的参数相同。

 

举例:

# coding:utf-8
import tensorflow as tf

def main(_):
    # 输入4×4的单通道图像
    input_ = tf.constant(1., shape = [1,4,4,1])
    # 卷积核的大小为3×3×1,个数为1
    w = tf.constant(1., shape = [3,3,1,1])
    # 卷积:输出2×2的单通道图像
    result= tf.nn.conv2d(input_, w, strides=[1, 1, 1, 1], padding='VALID')
    # 转置卷积:输出4×4的单通道图像
    result2= tf.nn.conv2d_transpose(result, w, output_shape=[1,4,4,1], strides=[1, 1, 1, 1], padding='VALID')
    with tf.Session() as sess:
        init = tf.global_variables_initializer()
        sess.run(init)
        print '输入4×4的单通道图像'
        print sess.run(input_)
        print '卷积:输出2×2的单通道图像'
        print sess.run(result)
        print '转置卷积:输出4×4的单通道图像'
        print sess.run(result2)
        
if __name__ == '__main__':
    tf.app.run()

运行结果:


 

先卷积,再进行转置卷积,得到的结果和输入不一样,但是shape是一样的,说明了卷积和转置卷积并不是完全对称的两个过程。这也是现在不使用deconvolution这个概念的原因。

五.总结

这是对于转置卷积的基本理解。

 

### 如何在 PyTorch 中使用 `nn.ConvTranspose2d` 进行转置卷积操作 #### 定义转置卷积层 为了创建一个二维转置卷积层,可以利用 `torch.nn.ConvTranspose2d()` 函数。此函数允许指定多个参数来控制层的行为,包括输入通道数 (`in_channels`)、输出通道数 (`out_channels`) 和内核大小 (`kernel_size`) 等。 ```python import torch import torch.nn as nn # 创建一个简单的转置卷积层实例 conv_transpose_layer = nn.ConvTranspose2d( in_channels=1, out_channels=1, kernel_size=3, stride=2, padding=1, output_padding=1 ) ``` #### 输入数据准备 对于任何卷积运算来说,准备好适当形状的输入张量是非常重要的。这里展示了一个具体的例子,其中构建了一个随机初始化的小型四维张量作为输入给定到上述定义好的转置卷积层中去: ```python # 构建一个批次大小为 1 的小型四维张量 (batch_size, channels, height, width) input_tensor = torch.randn((1, 1, 4, 4)) print("Input tensor shape:", input_tensor.shape) output_tensor = conv_transpose_layer(input_tensor) print("Output tensor shape after transposed convolution:", output_tensor.shape) ``` 通过这种方式,可以看到经过转置卷积处理之后得到的新特征图尺寸会变大,这正是该类操作的主要目的之一——放大图像或增加空间分辨率[^2]。 #### 参数解释 - **`stride`**: 控制滑动窗口移动步幅,默认值为 1; - **`padding`**: 对边界填充零的数量,默认无填充; - **`output_padding`**: 额外添加于输出端额外像素数量,用于更精确地匹配所需的空间维度; - **`groups`**, **`bias`**, **`dilation`** 及其他选项则提供了更多灵活性以适应不同应用场景下的需求[^4]。 #### 错误修正提示 值得注意的是,在实际编写代码过程中可能会遇到一些细微之处容易被忽视的地方。比如当尝试改变输入张量视图时应确保变量名拼写的准确性,像下面这样才是正确的做法: ```python correct_input_view = input.view(-1, 1, 2, 2) # 正确的形式 incorrect_input_view = intput.view(-1, 1, 2, 2) # 存在一个明显的拼写错误 'intput' ``` 以上就是关于如何在 PyTorch 中应用 `nn.ConvTranspose2d` 来执行转置卷积的相关介绍[^3]。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值