卷积操作和反卷积操作的数学解释

预备知识：

卷积运算：
width:w
filter_size:f
padding:p
stride:s
new_width:n_w

ceil：向下取整运算
n_w=ceil((w-f+zp)/s)+1
反卷积运算：
input:i
filter_size:f
padding:p
stride:s
output:o

o=s(i-1)+f-2*p+a,(a=[0,1,…,s])
注意padding的填充方式：zero_padding:1(即输出大小等于输入大小，SAME），Full_padding:输出大小小于输入大小，no_zero_padding：输出小于输入(VALID)。

转载：【TensorFlow】tf.nn.conv2d_transpose是怎样实现反卷积的？

三个月没更新了啊，回来更一发～～

csdn上主要讲一些coding过程中遇到的函数，问题，解决方案。偏实践

另外，如果你想看一些理论方面的东西，欢迎加我的知乎知乎主页

csdn私信几乎不看，有问题交流可以发邮箱：hzmaoxiaofeng@163.com或者知乎私信，看到我会第一时间回复各位

之前的文章里有人和我提了参数位置的问题，非常感谢。之前我用的tensorflow版本是0.8，在1.0大改以后很多参数交换了位置，所以我更新了版本到1.1.0rc1，请大家看代码的时候注意一下版本问题

/*******************************************************************************************************************************************************/

今天来介绍一下Tensorflow里面的反卷积操作，网上反卷积的用法的介绍比较少，希望这篇教程可以帮助到各位

反卷积出自这篇论文：Deconvolutional Networks，有兴趣的同学自行了解

首先无论你如何理解反卷积，请时刻记住一点，反卷积操作是卷积的反向

如果你随时都记住上面强调的重点，那你基本就理解一大半了，接下来通过一些函数的介绍为大家强化这个观念

conv2d_transpose(value, filter, output_shape, strides, padding="SAME", data_format="NHWC", name=None)

除去name参数用以指定该操作的name，与方法有关的一共六个参数： 第一个参数value：指需要做反卷积的输入图像，它要求是一个Tensor 第二个参数filter：卷积核，它要求是一个Tensor，具有[filter_height, filter_width, out_channels, in_channels]这样的shape，具体含义是[卷积核的高度，卷积核的宽度，卷积核个数，图像通道数] 第三个参数output_shape：反卷积操作输出的shape，细心的同学会发现卷积操作是没有这个参数的，那这个参数在这里有什么用呢？下面会解释这个问题 第四个参数strides：反卷积时在图像每一维的步长，这是一个一维的向量，长度4 第五个参数padding：string类型的量，只能是"SAME","VALID"其中之一，这个值决定了不同的卷积方式 第六个参数data_format：string类型的量，'NHWC'和'NCHW'其中之一，这是tensorflow新版本中新加的参数，它说明了value参数的数据格式。'NHWC'指tensorflow标准的数据格式[batch, height, width, in_channels]，'NCHW'指Theano的数据格式,[batch, in_channels，height, width]，当然默认值是'NHWC' 开始之前务必了解卷积的过程，参考我的另一篇文章：http://blog.youkuaiyun.com/mao_xiao_feng/article/details/53444333 首先定义一个单通道图和3个卷积核

[python] view plain copy

print ?

1. x1 = tf.constant(1.0, shape=[1,3,3,1])  
2. kernel = tf.constant(1.0, shape=[3,3,3,1])  

x1 = tf.constant(1.0, shape=[1,3,3,1])
kernel = tf.constant(1.0, shape=[3,3,3,1])

先别着急！我们不直接用反卷积函数，而是再定义一些图

[python] view plain copy

print ?

1. x2 = tf.constant(1.0, shape=[1,6,6,3])  
2. x3 = tf.constant(1.0, shape=[1,5,5,3])  

x2 = tf.constant(1.0, shape=[1,6,6,3])
x3 = tf.constant(1.0, shape=[1,5,5,3])

x2是6×6的3通道图，x3是5×5的3通道图
好了，接下来对x3做一次卷积操作

[python] view plain copy

print ?

1. y2 = tf.nn.conv2d(x3, kernel, strides=[1,2,2,1], padding=“SAME”)  

y2 = tf.nn.conv2d(x3, kernel, strides=[1,2,2,1], padding="SAME")

所以返回的y2是一个单通道的图，如果你了解卷积过程，很容易看出来y2是[1，3，3，1]的Tensor，y2的结果如下：

[python] view plain copy

print ?

1. [[[[ 12.]  
2.    [ 18.]  
3.    [ 12.]]  
4.   
5.   [[ 18.]  
6.    [ 27.]  
7.    [ 18.]]  
8.   
9.   [[ 12.]  
10.    [ 18.]  
11.    [ 12.]]]]  

[[[[ 12.]
   [ 18.]
   [ 12.]]

  [[ 18.]
   [ 27.]
   [ 18.]]

  [[ 12.]
   [ 18.]
   [ 12.]]]]

又一个很重要的部分！tf.nn.conv2d中的filter参数，是[filter_height, filter_width, in_channels, out_channels]的形式，而tf.nn.conv2d_transpose中的filter参数，是[filter_height, filter_width, out_channels，in_channels]的形式，注意in_channels和out_channels反过来了！因为两者互为反向，所以输入输出要调换位置

既然y2是卷积操作的返回值，那我们当然可以对它做反卷积，反卷积操作返回的Tensor，应该和x3的shape是一样的（不难理解，因为是卷积的反过程）

[python] view plain copy

print ?

1. y3 = tf.nn.conv2d_transpose(y2,kernel,output_shape=[1,5,5,3], strides=[1,2,2,1],padding=“SAME”)  

y3 = tf.nn.conv2d_transpose(y2,kernel,output_shape=[1,5,5,3], strides=[1,2,2,1],padding="SAME")

好，现在返回的y3果然是[1，5，5，3]的Tensor，结果如下：

[python] view plain copy

print ?

1. [[[[ 12.  12.  12.]  
2.    [ 30.  30.  30.]  
3.    [ 18.  18.  18.]  
4.    [ 30.  30.  30.]  
5.    [ 12.  12.  12.]]  
6.   
7.   [[ 30.  30.  30.]  
8.    [ 75.  75.  75.]  
9.    [ 45.  45.  45.]  
10.    [ 75.  75.  75.]  
11.    [ 30.  30.  30.]]  
12.   
13.   [[ 18.  18.  18.]  
14.    [ 45.  45.  45.]  
15.    [ 27.  27.  27.]  
16.    [ 45.  45.  45.]  
17.    [ 18.  18.  18.]]  
18.   
19.   [[ 30.  30.  30.]  
20.    [ 75.  75.  75.]  
21.    [ 45.  45.  45.]  
22.    [ 75.  75.  75.]  
23.    [ 30.  30.  30.]]  
24.   
25.   [[ 12.  12.  12.]  
26.    [ 30.  30.  30.]  
27.    [ 18.  18.  18.]  
28.    [ 30.  30.  30.]  
29.    [ 12.  12.  12.]]]]  

[[[[ 12.  12.  12.]
   [ 30.  30.  30.]
   [ 18.  18.  18.]
   [ 30.  30.  30.]
   [ 12.  12.  12.]]

  [[ 30.  30.  30.]
   [ 75.  75.  75.]
   [ 45.  45.  45.]
   [ 75.  75.  75.]
   [ 30.  30.  30.]]

  [[ 18.  18.  18.]
   [ 45.  45.  45.]
   [ 27.  27.  27.]
   [ 45.  45.  45.]
   [ 18.  18.  18.]]

  [[ 30.  30.  30.]
   [ 75.  75.  75.]
   [ 45.  45.  45.]
   [ 75.  75.  75.]
   [ 30.  30.  30.]]

  [[ 12.  12.  12.]
   [ 30.  30.  30.]
   [ 18.  18.  18.]
   [ 30.  30.  30.]
   [ 12.  12.  12.]]]]

这个结果是怎么得来的？可以用一张动图来说明,图片来源：反卷积的真正含义

看起来，tf.nn.conv2d_transpose的output_shape似乎是多余的，因为知道了原图，卷积核，步长显然是可以推出输出图像大小的，那为什么要指定output_shape呢？
看这样一种情况：

[python] view plain copy

print ?

1. y4 = tf.nn.conv2d(x2, kernel, strides=[1,2,2,1], padding=“SAME”)  

y4 = tf.nn.conv2d(x2, kernel, strides=[1,2,2,1], padding="SAME")

我们把上面的x2也做卷积，获得shape为[1，3，3，1]的y4如下：

[python] view plain copy

print ?

1. [[[[ 27.]  
2.    [ 27.]  
3.    [ 18.]]  
4.   
5.   [[ 27.]  
6.    [ 27.]  
7.    [ 18.]]  
8.   
9.   [[ 18.]  
10.    [ 18.]  
11.    [ 12.]]]]  

[[[[ 27.]
   [ 27.]
   [ 18.]]

  [[ 27.]
   [ 27.]
   [ 18.]]

  [[ 18.]
   [ 18.]
   [ 12.]]]]

[1，6，6，3]和[1，5，5，3]的图经过卷积得到了相同的大小，[1，3，3，1]
让我们再反过来看，那么[1，3，3，1]的图反卷积后得到什么呢？产生了两种情况。所以这里指定output_shape是有意义的，当然随意指定output_shape是不允许的，如下情况程序会报错：

[python] view plain copy

print ?

1. y5 = tf.nn.conv2d_transpose(x1,kernel,output_shape=[1,10,10,3],strides=[1,2,2,1],padding=“SAME”)  

y5 = tf.nn.conv2d_transpose(x1,kernel,output_shape=[1,10,10,3],strides=[1,2,2,1],padding="SAME")

以上是stride为2的情况，为1时也类似，当卷积核大于原图时，默认用VALID方式（用SAME就无意义了）参考下图：

程序清单：

[python] view plain copy

print ?

1. import tensorflow as tf  
2.   
3. x1 = tf.constant(1.0, shape=[1,3,3,1])  
4.   
5. x2 = tf.constant(1.0, shape=[1,6,6,3])  
6.   
7. x3 = tf.constant(1.0, shape=[1,5,5,3])  
8.   
9. kernel = tf.constant(1.0, shape=[3,3,3,1])  
10.   
11.   
12.   
13. y1 = tf.nn.conv2d_transpose(x1,kernel,output_shape=[1,6,6,3],  
14.     strides=[1,2,2,1],padding=“SAME”)  
15.   
16. y2 = tf.nn.conv2d(x3, kernel, strides=[1,2,2,1], padding=“SAME”)  
17.   
18. y3 = tf.nn.conv2d_transpose(y2,kernel,output_shape=[1,5,5,3],  
19.     strides=[1,2,2,1],padding=“SAME”)  
20.   
21. y4 = tf.nn.conv2d(x2, kernel, strides=[1,2,2,1], padding=“SAME”)  
22.   
23. ””’ 
24. Wrong!!This is impossible 
25. y5 = tf.nn.conv2d_transpose(x1,kernel,output_shape=[1,10,10,3],strides=[1,2,2,1],padding=”SAME”) 
26. ”’  
27. sess = tf.Session()  
28. tf.global_variables_initializer().run(session=sess)  
29. x1_decov, x3_cov, y2_decov, x2_cov=sess.run([y1,y2,y3,y4])  
30. print(x1_decov.shape)  
31. print(x3_cov.shape)  
32. print(y2_decov.shape)  
33. print(x2_cov.shape)  

import tensorflow as tf

x1 = tf.constant(1.0, shape=[1,3,3,1])

x2 = tf.constant(1.0, shape=[1,6,6,3])

x3 = tf.constant(1.0, shape=[1,5,5,3])

kernel = tf.constant(1.0, shape=[3,3,3,1])



y1 = tf.nn.conv2d_transpose(x1,kernel,output_shape=[1,6,6,3],
    strides=[1,2,2,1],padding="SAME")

y2 = tf.nn.conv2d(x3, kernel, strides=[1,2,2,1], padding="SAME")

y3 = tf.nn.conv2d_transpose(y2,kernel,output_shape=[1,5,5,3],
    strides=[1,2,2,1],padding="SAME")

y4 = tf.nn.conv2d(x2, kernel, strides=[1,2,2,1], padding="SAME")

'''
Wrong!!This is impossible
y5 = tf.nn.conv2d_transpose(x1,kernel,output_shape=[1,10,10,3],strides=[1,2,2,1],padding="SAME")
'''
sess = tf.Session()
tf.global_variables_initializer().run(session=sess)
x1_decov, x3_cov, y2_decov, x2_cov=sess.run([y1,y2,y3,y4])
print(x1_decov.shape)
print(x3_cov.shape)
print(y2_decov.shape)
print(x2_cov.shape)

                </div>

PS：
反卷积中需要注意多了一个output_shape参数，注意它的参数设置；
注意tf.nn.conv2d_transpose中的kernel如何设置[filter_size,filter_size,output_channel,input_channel]。

注意无论卷积或者非卷积运算在实现上豆采用两个矩阵进行矩阵乘法运算，因此需要注意，在卷积的时候，我们采用怎样的矩阵进行运算，转化为对应的矩阵，注意反卷积（转置卷积）的过程中，两个矩阵代表的什么东东？一个代表数据，一个代表卷积核中的数据，卷积为Y_=CX_,其中Y_和X_都为[x,1]的数据格式，Y_代表卷积后的数据，X_代表卷积前的数据！反卷积则为X_=C(T)Y_，其中C(T)是个拓普利兹矩阵，可以百度一下这个矩阵的定义哈！
参考：
【caffe】caffe之反卷积层