这篇笔记是在阅读Tensorflow中文文档时做的笔记,只记录了一些我认为需要记录的地方,其他问题大家可以评论,我们共同探讨。
1、权重初始化
这个模型中的权重在初始化时应该加入少量的噪声来打 破对称性以及避免0梯度。破对称性以及避免0梯度。由于我们使用的是ReLU神经元,因此比较好的做法是用一个较小的正数来初始化偏置 项,以避免神经元节点输出恒为0的问题(dead neurons)。
#w采用截断的正态分布,标准差为0.1
def weight_variable(shape):
initial = tf.truncated_normal(shape, stddev=0.1)
return tf.Variable(initial)
#b为0.1
def bias_variable(shape):
initial = tf.constant(0.1, shape=shape)
return tf.Variable(initial)
2、每一层的实现2.1、卷积层+池化层
每一层包括卷积层、池化层、dropout层等等,视具体情况而定。
举例:卷积+池化+全连接+softmax
W_conv1 = weight_variable([5, 5, 1, 32])
b_conv1 = bias_variable([32])
[5,5,1,32]:表示卷积核的大小为5*5,深度为1,数量为32个,即第一层输出为32个feature map。
[32]:对应b值也是32个。
为了输入的图片能和这些参数进行运算,也需要对输入进行reshape。
x_image = tf.reshape(x, [-1,28,28,1])
[-1,28,28,1]:第一个-1不用管,只是赋一下初值,紧接着是表示图片的大小为28*28(height*width),最后表示输入图片的深度。此时,输入图片和卷积核都准备好了,接下来就是进行卷积计算。
def conv2d(x, W):
return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')
def max_pool_2x2(x):
return tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')
这一句实际调用tensorflow的conv2d函数,输入数据和卷积核,和普通的神经网络中matmul函数作用一样,加上偏置,然后进入激活函数。
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
对上一步的输出进行poolling操作:
h_pool1 = max_pool_2x2(h_conv1)
第二层:依然是卷积层+池化层
W_conv2 = weight_variable([5, 5, 32, 64])
b_conv2 = bias_variable([64])
h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
h_pool2 = max_pool_2x2(h_conv2)
2.2、全连接层
经过两次卷积池化,图片尺寸变为:28*28-》32张14*14-》64张7*7,引起尺寸变化的均为池化过程,因为在卷积过程中padding属性为SAME,即保持卷积前后图像尺寸不变。
此时我们引入一个1024个神经元的全连接层:
既该层要连接7*7*64个元素,则需要初始化参数为:
W_fc1 = weight_variable([7 * 7 * 64, 1024])
b_fc1 = bias_variable([1024])
这里注意一下,上一个池化层输出的数据需要reshape
h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
接下来就是进行计算
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)
2.3、Dropout层
为了减少模型过拟合,我们在训练过程中开启dropout,测试过程中关闭,声明一个placeholder来控制dropout的程度。
注:TensorFlow的 tf.n n.dropout 操作除了可以屏蔽神经元的输出外,还会自动处理神经元输出值的scale。所以用dropout的时候可以不 用考虑scale。
keep_prob = tf.placeholder("float")
上一层(全连接层),进入dropout层
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)
2.4、输出层,softmax
W_fc2 = weight_variable([1024, 10])
b_fc2 = bias_variable([10])
y_conv=tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)
心得:其实只要把深度学习的原理搞懂,框架不同,只需熟悉一下各个框架下函数即可,上手很快。