tensorflow框架的手写体识别

"""
关于手写体识别，tensorflow框架。 来源于实战Google深度学习框架这本书
"""
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

#MNIST数据集相关的常数
INPUT_NODE = 784 #输入层的节点数。对于MNIST数据集，这个就等于图片的像素
OUTPUT_NODE = 10 #输出层的节点数。这个数等于类别的数目。因为在MNIST数据集上需要区分的是0~9这10个数字，所以这里输出层的节点数为10.

#配置神经网络的参数
LAYER1_NODE = 500 #隐藏层节点数

BATCH_SIZE = 100 #一个训练batch中的训练数据个数。数字越小时，训练过程越接近随机梯度下降；数字越大时，训练越接近梯度下降

LEARNING_RATE_BASE = 0.8 #基础学习率
LEARNING_RATE_DECAY = 0.99 #学习率的衰减率

REGULARIZATION_RATE = 0.0001 #描述模型复杂度的正则化项在损失函数中的系数
TRAINING_STEPS = 30000 #迭代次数
MOVING_AVERAGE_DECAY = 0.99 #滑动平均衰减率

"""
一个辅助函数，给定神经网络的输入和所有的参数，计算神经网络的前向传播结果。 定义了一个使用RELU激活函数的三层全连接神经网络。
通过加入隐藏层实现多层网络结构，通过RELU激活函数实现去线性化，在这个函数中也支持传入用于计算参数平均值的类，方便在测试时使用滑动平均模型
"""
def inference(input_tensor, avg_class, weights1, biases1, weights2, biases2):
	#当提供滑动平均类时，直接使用参数当前的取值
	if avg_class is None:
		#计算隐藏层的前向传播结果，使用RELU激活函数
		layer1 = tf.nn.relu(tf.matmul(input_tensor, weights1) + biases1)

		"""
		计算输出层的前向传播结果。因为在计算损失函数时会一并计算softmax函数，所以这里不需要加入激活函数。而且不加入softmax不会影响预测结果。
		因为预测时使用的是不同类别对应节点输出值的相对大小，有没有softmax层对最后分类结果的计算没有影响。于是在计算整个神经网络的前向传播结果时可以不加入最后的softmax层。
		个人理解是：最后的输出层设置了十个神经元节点，而需要判别的类别也是十类，每一类对应一个神经元节点，将模型预测的结果最有可能属于的类别经过相应的节点输出。
		"""
		return tf.matmul(layer1, weights2) + biases2
	else:
		#使用avg_class.average函数来计算得出变量的滑动平均值，然后在计算相应的神经网络前向传播结果。
		layer1 = tf.nn.relu(tf.matmul(input_tensor, avg_class.average(weights1)) + avg_class.average(biases1))

		return tf.matmul(layer1, avg_class.average(weights2)) + avg_class.average(biases2)

#训练模型的过程。
def train(mnist):

	x = tf.placeholder(tf.float32, [None, INPUT_NODE], name='x-input')
	y_ = tf.placeholder(tf.float32, [None, OUTPUT_NODE], name='y-input')

	#生成隐藏层的参数。
	weights1 = tf.Variable(tf.truncated_normal([INPUT_NODE, LAYER1_NODE], stddev=0.1))
	biases1 = tf.Variable(tf.constant(0.1, shape=[LAYER1_NODE]))

	weights2 = tf.Variable(tf.truncated_normal([LAYER1_NODE, OUTPUT_NODE], stddev=0.1))
	biases2 = tf.Variable(tf.constant(0.1,shape=[OUTPUT_NODE]))  #偏置项为常量,所以可以设置为0.1

	#计算当前参数下神经网络钱箱传播的结果。这里给出的用于计算滑动平均的类为None，所以函数不会使用参数的滑动平均值
	y = inference(x, None, weights1, biases1, weights2, biases2)

	#定义存储训练轮数的变量。这个变量不需要计算滑动平均值，所以这里指定这个变量为不可训练的变量(trainable=False)。在使用tensorflow训练神经
	#网络时，一般会将代表训练轮数的变量指定为不可训练的参数。初始化训练轮数
	global_step = tf.Variable(0, trainable=False)

	"""
	给定滑动平均衰减率和训练轮数变量，初始滑动平均类。
	tf.train.ExponentialMovingAverage是用来实现滑动平均模型的API，MOVING_AVERAGE_DECAY是衰减率，控制模型的更新速度
    global_step是控制衰减率的变量，此处有一个公式 min{MOVING_AVERAGE_DECAY,(1+global_step)/(10+global_step)}
	定义训练轮数的变量可以加快训练早期变量的跟新速度。
	"""
	variable_averages =  tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY, global_step)

	"""
	在所有代表神经网络参数的变量上使用滑动平均。其他辅助变量（global_step)就不需要了。
	tf.trainable_variabless返回的就是图上集合GraphKeys.TRAINABLE_AVERAGE中的元素
	（即每次执行这个操作时，tf.trainable_variables()中的变量都会被更新,tf.trainable_variables()所有可训练的变量）。
	这个集合的元素就是所有没有指定trainable=False的参数。
	"""
	variables_avreages_op = variable_averages.apply(tf.trainable_variables())

	#计算使用了滑动平均之后的前向传播结果。 滑动平均不会改变变量本身的取值，而是会维护一个影子变量来记录起滑动平均值
	average_y = inference(x, variable_averages, weights1, biases1, weights2, biases2)

	#使用交叉熵来计算预测值与标签的误差
	#当分类问题只有一个正确答案时，用sparse_softmax_cross_entropy_with_logits函数来加速计算交叉熵
	#函数的第一个参数是神经网络不包括softmax等的前向传播结果， 第二个参数是训练数据的正确答案
	#tf.argmax()函数的作用：获得数组中值最大的下表号。
	cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_, 1))

	#计算一个batch数据的交叉熵平均值
	cross_entropy_mean = tf.reduce_mean(cross_entropy)

	#添加L2正则
	regularizer = tf.contrib.layers.l2_regularizer(REGULARIZATION_RATE)

	#计算正则化损失
	regularization = regularizer(weights1) + regularizer(weights2)
	#总损失等于交叉熵损失和正则化损失的和
	loss = cross_entropy_mean + regularization

	#设置指数衰减的学习率,在基础学习率上递减，随着迭代的进行。 参数：基础学习率 当前迭代次数， 总的迭代次数， 学习率衰减速度
	learing_rate = tf.train.exponential_decay(LEARNING_RATE_BASE, global_step, mnist.train.num_examples / BATCH_SIZE, LEARNING_RATE_DECAY)

	#反向传播
	train_step = tf.train.GradientDescentOptimizer(learing_rate).minimize(loss, global_step=global_step)
    
    #在训练神经网络时，每过一遍数据既需要通过反向传播来跟新神经网络中的参数，又要更新
    #每一个参数的滑动平均值。
	#tf.control_dependencies函数跟新神经网络的参数和每一个滑动平均值
	#即先执行完train_step variables_averages_op 之后才会执行train_op 就是定义了程序的执行顺序，tf.no_op()表示执行完 train_step, variable_averages_op 操作之后什么都不做
	with tf.control_dependencies([train_step, variables_avreages_op]):
		train_op = tf.no_op(name='train')

	#tf.equal()判断两个张量的每一维是否相等，如果相等返回true，否则返回false。
	#检查使用了滑动平均模型的神经网络前向传播结果是否正确。
	correct_prediction = tf.equal(tf.argmax(average_y, 1), tf.argmax(y_, 1))

	#tf.cast()函数将布尔型数值转换成实数型，在计算一个batch_size的平均值
	accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

	#初始化会话并开始训练
	with tf.Session() as sess:
		tf.global_variables_initializer().run() #初始化所有变量

		#准备验证数据
		validate_feed = {x:mnist.validation.images, y_:mnist.validation.labels}
		#准备测试数据集
		test_feed = {x: mnist.test.images, y_: mnist.test.labels}

		#训练神经网络
		for i in range(TRAINING_STEPS):
			if i % 1000 == 0:
				
				#计算验证集的准确率，需要获得变量accuracy
				#session这个会话调用所有与accuracy有关的运算
				valiadate_acc = sess.run(accuracy, feed_dict=validate_feed)
				print("After %d training step(s), validation accuracy" "using average model is %g" %(i, valiadate_acc))

			#生成这一轮使用的一个batch的训练数据
			xs, ys = mnist.train.next_batch(BATCH_SIZE)
			sess.run(train_op, feed_dict={x: xs, y_: ys})

		#计算测试集上的准确率
		test_acc = sess.run(accuracy, feed_dict=test_feed)
		print("After %d training step(s), test accuracy using average " "model is %g" %(TRAINING_STEPS, test_acc))


#主程序入口
def main(argv=None):
	#获取mnist数据集
	mnist = input_data.read_data_sets("/tmp/data", one_hot=True)
	train(mnist)

#Tensorflow提供一个主程序入口，tf.app.run会调用上面定义的main函数
if __name__ == '__main__':
	tf.app.run()

其中犯的错误：

1、 没有理清各个函数之间的关系，导致执行时，出现了错误

2、初始化会话并训练这一步应该缩进，放在train()函数之中，由于买的书是盗版的，所以在理解和执行的时候出现了相关参数变量没有定义的错误提示。

3、其中部分的细节还是理的不太清楚。