Tensorflow实战-CNN网络Mnist识别

最新推荐文章于 2022-09-01 16:18:41 发布

原创最新推荐文章于 2022-09-01 16:18:41 发布 · 3.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#tensorflow #CNN #mnist #softmax #深度学习

Tensorflow 专栏收录该内容

3 篇文章

订阅专栏

这篇博客主要介绍了使用TensorFlow实现CNN网络对MNIST手写数字识别的过程，包括权重初始化技巧，如何避免ReLU神经元的死亡问题，以及输入reshape和输出层的softmax操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这篇笔记是在阅读Tensorflow中文文档时做的笔记，只记录了一些我认为需要记录的地方，其他问题大家可以评论，我们共同探讨。

1、权重初始化
这个模型中的权重在初始化时应该加入少量的噪声来打破对称性以及避免0梯度。破对称性以及避免0梯度。由于我们使用的是ReLU神经元，因此比较好的做法是用一个较小的正数来初始化偏置项，以避免神经元节点输出恒为0的问题（dead neurons）。

#w采用截断的正态分布，标准差为0.1
def weight_variable(shape): 
	initial = tf.truncated_normal(shape, stddev=0.1) 
	return tf.Variable(initial)
#b为0.1
def bias_variable(shape): 
	initial = tf.constant(0.1, shape=shape) 
	return tf.Variable(initial)

2、每一层的实现
2.1、卷积层+池化层
每一层包括卷积层、池化层、dropout层等等，视具体情况而定。
举例：卷积+池化+全连接+softmax

W_conv1 = weight_variable([5, 5, 1, 32]) 
b_conv1 = bias_variable([32])

[5，5，1，32]：表示卷积核的大小为5*5，深度为1，数量为32个，即第一层输出为32个feature map。
[32]：对应b值也是32个。

为了输入的图片能和这些参数进行运算，也需要对输入进行reshape。

x_image = tf.reshape(x, [-1,28,28,1])

[-1，28，28，1]：第一个-1不用管，只是赋一下初值，紧接着是表示图片的大小为28*28（height*width），最后表示输入图片的深度。
此时，输入图片和卷积核都准备好了，接下来就是进行卷积计算。

def conv2d(x, W): 
	return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')
def max_pool_2x2(x): 
	return tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')

这一句实际调用tensorflow的conv2d函数，输入数据和卷积核，和普通的神经网络中matmul函数作用一样，加上偏置，然后进入激活函数。

h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)

对上一步的输出进行poolling操作：

h_pool1 = max_pool_2x2(h_conv1)

第二层：依然是卷积层+池化层

W_conv2 = weight_variable([5, 5, 32, 64]) 
b_conv2 = bias_variable([64])
h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2) 
h_pool2 = max_pool_2x2(h_conv2)

2.2、全连接层
经过两次卷积池化，图片尺寸变为：28*28-》32张14*14-》64张7*7，引起尺寸变化的均为池化过程，因为在卷积过程中padding属性为SAME，即保持卷积前后图像尺寸不变。
此时我们引入一个1024个神经元的全连接层：
既该层要连接7*7*64个元素，则需要初始化参数为：

W_fc1 = weight_variable([7 * 7 * 64, 1024]) 
b_fc1 = bias_variable([1024])

这里注意一下，上一个池化层输出的数据需要reshape

h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])

接下来就是进行计算

h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)

2.3、Dropout层
为了减少模型过拟合，我们在训练过程中开启dropout，测试过程中关闭，声明一个placeholder来控制dropout的程度。
注：TensorFlow的 tf.n n.dropout 操作除了可以屏蔽神经元的输出外，还会自动处理神经元输出值的scale。所以用dropout的时候可以不用考虑scale。

keep_prob = tf.placeholder("float")

上一层（全连接层），进入dropout层

h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

2.4、输出层，softmax

W_fc2 = weight_variable([1024, 10]) 
b_fc2 = bias_variable([10]) 
y_conv=tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)

心得：其实只要把深度学习的原理搞懂，框架不同，只需熟悉一下各个框架下函数即可，上手很快。