神经网络中卷积层和池化层的作用探究

1.前言：

我们知道：
卷积层用于进行特征提取。
池化层用于输入的特征图进行压缩，使特征图变小，简化网络计算复杂度或进行特征压缩，提取主要特征。
但在神经网络中它们会使输入的特征逐步变化成什么样？最终得到正确的结果呢？下面我们通过一个简单的神经网络来探究它们的作用。

2.相关说明：

这里将使用下图所示的卷积神经网络：

卷积核大小：[1,1,1,1] 分别对应 [batch,height,width,channels]，步长：1，填充类型：SAME
池化窗口（滤波器）大小：[1,2,2,1] 分别对应 [batch,height,width,channels], 步长：2x2, 填充类型：SAME
实现方式：python tensorflow （现在pytorch似乎也挺火的，感兴趣的也可以用其实现）
实验数据：MNIST数据集 或 Fashion_MNIST数据集（推荐使用Fashion_MNIST数据集，效果更明显）
Fashion_MNIST数据集下载地址：https://github.com/zalandoresearch/fashion-mnist
实验数据使用方式见：MNIST数据集使用详解 (MNIST数据集 和 Fashion_MNIST数据集的使用方式都是相同的，相同的代码只需要调换数据集文件就能完美使用)

3.参考代码及详解：

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
import matplotlib.pyplot as plt
import cv2
mnist_data_folder="/Fashion_MNIST"
mnist=input_data.read_data_sets(mnist_data_folder,one_hot=True)


#创建两个占位符，x为输入网络的图像，y_为输入网络的图像类别
x = tf.placeholder("float", shape=[None, 784])
y_ = tf.placeholder("float", shape=[None, 10])

#权重初始化函数
def weight_variable(shape):
    #输出服从截尾正态分布的随机值
    initial = tf.truncated_normal(shape, stddev=0.1)
    return tf.Variable(initial)

#偏置初始化函数
def bias_variable(shape):
    initial = tf.constant(0.1, shape=shape)
    return tf.Variable(initial)

#创建卷积op
#x 是一个4维张量，shape为[batch,height,width,channels]
#卷积核移动步长为1。填充类型为SAME,可以不丢弃任何像素点
def conv2d(x, W):
    return tf.nn.conv2d(x, W, strides=[1,1,1,1], padding="SAME")

#创建池化op
#采用最大池化，也就是取窗口中的最大值作为结果
#x 是一个4维张量，shape为[batch,height,width,channels]
#ksize表示pool窗口大小为2x2,也就是高2，宽2
#strides，表示在height和width维度上的步长都为2
def max_pool_2x2(x):
    return tf.nn.max_pool(x, ksize=[1,2,2,1],
                          strides=[1,2,2,1], padding="SAME")

#第1层，卷积层
#初始化W为[5,5,1,32]的张量，表示卷积核大小为5*5，第一层网络的输入和输出神经元个数分别为1和32
W_conv1 = weight_variable([5,5,1,32])
#初始化b为[32],即输出大小
b_conv1 = bias_variable([32])

#把输入x(二维张量,shape为[batch, 784])变成4d的x_image，x_image的shape应该是[batch,28,28,1]
#-1表示自动推测这个维度的size
x_image = tf.reshape(x, [-1,28,28,1])

#把x_image和权重进行卷积，加上偏置项，然后应用ReLU激活函数，最后进行max_pooling
#h_pool1的输出即为第一层网络输出，shape为[batch,14,14,1]
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
h_pool1 = max_pool_2x2(h_conv1)

#第2层，卷积层
#卷积核大小依然是5*5，这层的输入和输出神经元个数为32和64
W_conv2 = weight_variable([5,5,32,64])
b_conv2 = weight_variable([64])

#h_pool2即为第二层网络输出，shape为[batch,7,7,1]
h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
h_pool2 = max_pool_2x2(h_conv2)

#第3层, 全连接层
#这层是拥有1024个神经元的全连接层
#W的第1维size为7*7*64，7*7是h_pool2输出的size，64是第2层输出神经元个数
W_fc1 = weight_variable([7*7*64, 1024])
b_fc1 = bias_variable([1024])

#计算前需要把第2层的输出reshape成[batch, 7*7*64]的张量
h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)

#Dropout层
#为了减少过拟合，在输出层前加入dropout
keep_prob = tf.placeholder("float")
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

#输出层
#最后，添加一个softmax层
#可以理解为另一个全连接层，只不过输出时使用softmax将网络输出值转换成了概率
W_fc2 = weight_variable([1024, 10])
b_fc2 = bias_variable([10])

y_conv = tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)

#预测值和真实值之间的交叉墒
cross_entropy = -tf.reduce_sum(y_ * tf.log(y_conv))

#train op, 使用ADAM优化器来做梯度下降。学习率为0.0001
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)

#评估模型，tf.argmax能给出某个tensor对象在某一维上数据最大值的索引。
#因为标签是由0,1组成了one-hot vector，返回的索引就是数值为1的位置
correct_predict = tf.equal(tf.argmax(y_conv, 1), tf.argmax(y_, 1))

#计算正确预测项的比例，因为tf.equal返回的是布尔值，
#使用tf.cast把布尔值转换成浮点数，然后用tf.reduce_mean求平均值
accuracy = tf.reduce_mean(tf.cast(correct_predict, "float"))

#也可以批量导入训练，注意使用mnist.train.next_batch(batch_size)，得到的批次数据每次都会自动随机抽取这个批次大小的数据
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer()) #初始化变量
    for i in range(2000):  #开始训练模型，循环2000次，每次传入一个批次的图像
        batch_size = 1  # 每次批量训练1幅图像
        batch_xs, batch_ys = mnist.train.next_batch(batch_size)  # 随机抓取训练数据中的1个批处理数据点
        #print(batch_xs)    #打印该图像列表
        #print(batch_ys)    #打印该图像标签
        sess.run(train_step,feed_dict={x:batch_xs, y_:batch_ys, keep_prob:0.5})

    batch =1  # 每次批量测试1幅图像，可以设置多一点，算正确率
    test_xs, test_ys = mnist.test.next_batch(batch)
    print(test_xs.shape)

    plt.figure()
    im = test_xs.reshape(28, 28)  # 从训练数据集中随机取的一张图，将其转化为28x28格式
    # im=batch_xs[i].reshape(28,28)	#该批次的第i张图
    plt.imshow(im,cmap='gray')
    plt.pause(0.1)  # 暂停时间

    result=(sess.run([h_conv1,h_pool1,h_conv2,h_pool2,y_conv,], feed_dict={x: test_xs, y_: test_ys, keep_prob: 1.0}))

    print(result[0].shape)
    plt.matshow(result[0][0,:,:,0], cmap=plt.get_cmap('gray'))
    #a = result[0][0].reshape((32, 28, 28))
    #plt.imshow(a[0],cmap='gray')
    plt.pause(0.1)  # 暂停时间

    print(result[1].shape)
    #b = result[1][0].reshape((32, 14, 14))
    plt.matshow(result[1][0, :, :, 0], cmap=plt.get_cmap('gray'))
    plt.savefig("1.jpg")
    #plt.imshow(b[0], cmap='gray')
    plt.pause(0.1)  # 暂停时间

    print(result[2].shape)
    plt.matshow(result[2][0, :, :, 0], cmap=plt.get_cmap('gray'))
    #plt.imshow(c[0], cmap='gray')
    plt.pause(0.1)  # 暂停时间

    print(result[3].shape)
    plt.matshow(result[3][0, :, :, 0], cmap=plt.get_cmap('gray'))
    #plt.imshow(d[0], cmap='gray')
    plt.pause(0.1)  # 暂停时间

    print(result[4])
    plt.show()

运行结果说明：

我们可以看到预测的概率为：
[[3.0097897e-05 3.6264613e-05 1.6801963e-04 7.7600002e-05 3.7330945e-05
3.6119664e-04 1.0586195e-03 5.9116323e-05 6.3654697e-05 9.9810815e-01]]
其分别对应官方给出的标签图（翻译是Google的错，嗯）：

很明显，结果中最大值所表明的标签值是9，神经网络的预测结果是正确的，接下来，我们在来看看图片特征经过每个卷积和池化层都发生了什么。

原图：

这里我们可以看出它是什么，还有它的大小是：28x28

特征图1：

我们可以看出它的大小对于原图是没有发生变化的，这对应了卷积核的填充方式“SAME”，和步长1，其不会改变输出图片大小。
第一层卷积层似乎提取了其边缘的特征。（这只是该神经网络认为的特征，有时其实我们并不能明确看出它把什么作为了特征）

特征图2：

我们可以看出它的大小是14x14,这对应了2x2的池化核和2x2的步长，另外需要说明的是池化层总是会使图片缩小（或大小不变，但这是没有意义的，相当于池化层没有做任何事）。
第二层池化层似乎将特征图进行压缩，使特征图变小，使边缘特征更加明显化。

特征图3：

我们可以看出卷积层没有改变由池化层得到的特征大小。
第三层卷积层认为其特征边缘为，顶部的那一横，中间的一竖，左下角的一个弧形，以及右下角的一个点。

特征图4：

我们可以看到池化层使图片缩小，进行特征压缩，得到了如上特征。
而在后面全连接层中，会将该特征归类。

或许这样的解释很模糊，但是我们可以将不同类别所得到的特征图进行对比,活血可以看出提取了什么不同的特征（下面只展示相应特征图四，并且只针对与正确的结果）。
原图：

体恤的特征图4：

凉鞋的特征图4：

裤子的特征图4：

好了，不弄了，对于有的特征图，我们可以猜测出它提取了什么特征（如上例中，明显提取了部分边缘特征），但有些特征图我们并看不出任何东西，但神经网络却得到了正确的分类，至于神经网络为什么能完成这样的操作，至今还没有较为合理的科学解释，但它就是那种，很神秘很酷的那种（还很令人头秃）。

其它说明：

1.由各层得到的矩阵(也就是特征图直接打印出来的话，你什么也看不出来，那是没有经过排序的)，请注意代码中是如何打印出各个特征图！
2.请注意该数据集的使用许可：

3.有时候得到的特征图可能看不出什么东东，这是正常的（这些图片太小了，而且有的差别不是很大，或者你训练的图片不够多），你可以多尝试几次。
4.如果你有其它建议或想法，欢迎在评论区讨论。

结论：