Tensorflow - CNN 卷积神经网络

　　在神经网络中加入CNN会大幅度 提升代码的准确率。在之前的博客中有提到过分类，但那当时测试的最终得到的概率并不理想，这次我们换掉那个神经网络，使用CNN劵积神经网络，再跑一次分类看看效率如何。
　　这次使用的劵积结构是 卷积层和最大池化层 相互交替 然后在最末端连接几层全连接层，看下图。

　　话不多说，上代码：

# coding:utf-8
import tensorflow as tf 
import input_data
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)

'''
这个demo 展示 在CNN 代码中怎么定义 Convolutional 的层和怎样进行 pooling.
实现一个基于MNIST数据集的例子. 提升代码的准确率。
'''

#定义Weight变量，输入shape，返回变量的参数。使用tf.truncted_normal产生随机变量来进行初始化
def weight_variable(shape): 
    initial = tf.truncated_normal(shape, stddev=0.1)
    return tf.Variable(initial)


#定义biase变量，输入shape ,返回变量的一些参数。使用tf.constant常量函数来进行初始化
def bias_variable(shape): 
    initial=tf.constant(0.1,shape=shape) 
    return tf.Variable(initial)


#定义卷积 x是图片的所有参数，W是此卷积层的权重
def conv2d(x,W):
    #tf.nn.conv2d函数是tensoflow里面的二维的卷积函数
    #定义步长strides=[1,1,1,1]值，strides[0]和strides[3]的两个1是默认值，
    #中间两个1代表padding时在x方向运动一步，y方向运动一步，padding采用的方式是SAME
    return tf.nn.conv2d(x,W,strides=[1,1,1,1],padding='SAME') 

#定义池化
def max_pool_2x2(x):
    #采用的是最大值池化tf.max_pool()。池化的核函数大小为2x2，因此ksize=[1,2,2,1]，步长为2，因此strides=[1,2,2,1]
    return tf.nn.max_pool(x, ksize=[1,2,2,1], strides=[1,2,2,1], padding='SAME')
#定义概率
def compute_accuracy(v_xs, v_ys):
    global prediction
    y_pre = sess.run(prediction, feed_dict={xs: v_xs, keep_drop: 1})#概率
    correct_prediction = tf.equal(tf.argmax(y_pre,1), tf.argmax(v_ys,1))#预测概率最大值和真实数据的差别
    accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))#计算这组数据有多少对的多少错的
    result = sess.run(accuracy, feed_dict={xs: v_xs, ys: v_ys, keep_drop: 1})#输出 百分比
    return result

#定义输入和过拟合
xs = tf.placeholder(tf.float32,[None,784]) #28*28
ys= tf.placeholder(tf.float32,[None,10])
keep_drop = tf.placeholder(tf.float32)

#处理 xs，把xs的形状变成[-1,28,28,1]
#-1代表先不考虑输入的图片例子多少这个维度，后面的1是channel的数量，因为我们输入的图片是黑白的，因此channel是1，
#如果是RGB图像，那么channel就是3。
x_image=tf.reshape(xs,[-1,28,28,1])

#建立劵积层
##-----------------第一层劵积 start----------------##
#定义第一层卷积的Weight
#本层的卷积核patch的大小是5x5，因为黑白图片channel是1所以输入是1，输出是32个featuremap
W_conv1=weight_variable([5,5,1,32])
#定义本测层的bias bias的大小是32个长度，因此我们传入它的shape为[32]
b_conv1=bias_variable([32])

#定义卷积神经网络的第一个卷积层 h_conv1
#对h_conv1进行激活函数来处理，这里用的是tf.nn.relu（修正线性单元）来处理。
#因为采用了SAME的padding方式，输出图片的大小没有变化依然是28x28，只是厚度变厚了，因此现在的输出大小就变成了
h_conv1=tf.nn.relu(conv2d(x_image,W_conv1)+b_conv1) #输出28x28x32

#进行pooling处理
h_pool1=max_pool_2x2(h_conv1) #输出14x14x32

##-----------------第二层劵积 start----------------##

#定义第二层劵积 Weight bias
#本层的输入就是上一层的输出，本层我们的卷积核patch的大小是5x5，有32个featuremap所以输入就是32，输出设定为64 

W_conv2=weight_variable([5,5,32,64])
b_conv2=bias_variable([64])
#定义卷积神经网络的第二个卷积层#
h_conv2=tf.nn.relu(conv2d(h_pool1,W_conv2)+b_conv2) #输出 14×14×64
h_pool2=max_pool_2x2(h_conv2)#输出 7×7×64

##-----------------全链接层 + dropout ---------------##

#将输出值从一个三维的变为一维的数据，-1表示先不考虑输入图片例子维度, 将上一个输出结果展平.
h_pool2_flat=tf.reshape(h_pool2,[-1,7*7*64])  # [n_samples,7,7,64] >>[n_samples,7*7*64]
# weight_variable的shape输入就是第二个卷积层展平了的输出大小
W_fc1=weight_variable([7*7*64,1024]) 
b_fc1=bias_variable([1024])

#将展平后的h_pool2_flat与本层的W_fc1相乘
h_fc1=tf.nn.relu(tf.matmul(h_pool2_flat,W_fc1)+b_fc1)
#处理过拟合
h_fc1_drop=tf.nn.dropout(h_fc1,keep_drop)

##-----------------全链接层2 + prediction----------------##
#进行最后一层的构建  输入是1024，最后的输出是10个[0-9]十个类
W_fc2=weight_variable([1024,10])
b_fc2=bias_variable([10])
#用softmax分类器 对输出进行分类
prediction = tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)


# ---------------------------------------
#使用交叉熵损失函数 定义损失
cross_entropy=tf.reduce_mean(-tf.reduce_sum(ys*tf.log(prediction),reduction_indices=[1]))
# 用tf.train.AdamOptimizer()作为优化器进行优化，使cross_entropy最小
train_step=tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)

#初始化
init = tf.global_variables_initializer()
with tf.Session() as sess:
    sess.run(init)
    for i in range(1000):
        batch_xs, batch_ys = mnist.train.next_batch(100)
        sess.run(train_step, feed_dict={xs: batch_xs, ys: batch_ys, keep_drop: 0.5})
        if i % 50 == 0:
            print(compute_accuracy(mnist.test.images[:1000], mnist.test.labels[:1000]))

运行测试

上面两个对比图，左边是使用了CNN的神经网络，右边是普通的神经网络，可以看出，准确率明显提升了，但是二者的耗时差距很大，因为我是在CPU上跑的，要提升速度，如果有GPU，建议使用GPU。