Tensorflow实战-CNN网络Mnist识别

这篇笔记是在阅读Tensorflow中文文档时做的笔记，只记录了一些我认为需要记录的地方，其他问题大家可以评论，我们共同探讨。

1、权重初始化
这个模型中的权重在初始化时应该加入少量的噪声来打 破对称性以及避免0梯度。破对称性以及避免0梯度。由于我们使用的是ReLU神经元，因此比较好的做法是用一个较小的正数来初始化偏置 项，以避免神经元节点输出恒为0的问题（dead neurons）。

#w采用截断的正态分布，标准差为0.1
def weight_variable(shape): 
	initial = tf.truncated_normal(shape, stddev=0.1) 
	return tf.Variable(initial)
#b为0.1
def bias_variable(shape): 
	initial = tf.constant(0.1, shape=shape) 
	return tf.Variable(initial)

2、每一层的实现
2.1、卷积层+池化层
每一层包括卷积层、池化层、dropout层等等，视具体情况而定。
举例：卷积+池化+全连接+softmax

W_conv1 = weight_variable([5, 5, 1, 32]) 
b_conv1 = bias_variable([32])

[5，5，1，32]：表示卷积核的大小为5*5，深度为1，数量为32个，即第一层输出为32个feature map。
[32]：对应b值也是32个。

为了输入的图片能和这些参数进行运算，也需要对输入进行reshape。

x_image = tf.reshape(x, [-1,28,28,1])

[-1，28，28，1]：第一个-1不用管，只是赋一下初值，紧接着是表示图片的大小为28*28（height*width），最后表示输入图片的深度。
此时，输入图片和卷积核都准备好了，接下来就是进行卷积计算。

def conv2d(x, W): 
	return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')
def max_pool_2x2(x): 
	return tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')

这一句实际调用tensorflow的conv2d函数，输入数据和卷积核，和普通的神经网络中matmul函数作用一样，加上偏置，然后进入激活函数。

h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)

对上一步的输出进行poolling操作：

h_pool1 = max_pool_2x2(h_conv1)

第二层：依然是卷积层+池化层

W_conv2 = weight_variable([5, 5, 32, 64]) 
b_conv2 = bias_variable([64])
h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2) 
h_pool2 = max_pool_2x2(h_conv2)

2.2、全连接层
经过两次卷积池化，图片尺寸变为：28*28-》32张14*14-》64张7*7，引起尺寸变化的均为池化过程，因为在卷积过程中padding属性为SAME，即保持卷积前后图像尺寸不变。
此时我们引入一个1024个神经元的全连接层：
既该层要连接7*7*64个元素，则需要初始化参数为：

W_fc1 = weight_variable([7 * 7 * 64, 1024]) 
b_fc1 = bias_variable([1024])

这里注意一下，上一个池化层输出的数据需要reshape

h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64]) 

接下来就是进行计算

h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)

2.3、Dropout层
为了减少模型过拟合，我们在训练过程中开启dropout，测试过程中关闭，声明一个placeholder来控制dropout的程度。
注：TensorFlow的 tf.n n.dropout 操作除了可以屏蔽神经元的输出外，还会自动处理神经元输出值的scale。所以用dropout的时候可以不 用考虑scale。

keep_prob = tf.placeholder("float") 

上一层（全连接层），进入dropout层

h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

2.4、输出层，softmax

W_fc2 = weight_variable([1024, 10]) 
b_fc2 = bias_variable([10]) 
y_conv=tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)

心得：其实只要把深度学习的原理搞懂，框架不同，只需熟悉一下各个框架下函数即可，上手很快。