基于tensorflow库RNN写手写体数字识别

基于tensorflow，数据来源是mnist,包括了60000的样本，10000的测试样本。

之前在学习tensorflow的课程，所以做下笔记。

RNN循环神经网络，可以用在语音识别和文字等方面，但是语音和文字不像图片那样，可以单独地把像素点提取出来。上图就是RNN的简易示图，除去中间的反馈回路，和大多数神经网络类似。

我认为反馈回路，就是上一时刻的输出作为下一时刻的输入。举个例子，将文本进行切词，然后将切词后的结果输入进去，第一个词处理后的结果往下传，传到下一个时刻，当前时刻的输入将上一时刻的输出作为辅助进行决策。

提下“梯度消失”问题，看下图(衰落代表的颜色变化)：

随着时间，传入的“信号”会衰减，很多NN会用梯度下降的方法，那么在计算梯度的时候，就有可能衰减到0，导致“梯度消失”。假设我们用y=x作为激活函数，先不考虑分类效果，用y=x作为激活函数，梯度就是1,就不会存在“梯度消失”，网络模型会按照时间序列记住输入信息、计算的结果，意味着网络模型将会记住所有东西，没有选择性，合理的情况应该是：重要的信息才会记住，不重要的信息不用记住，选择重要（权值大地）信息记住。

LSTM（Long Short Term Memory）

上图是LSTM的Block,其实和NN的隐层类似。注意图上的input gate、forget gate,output gate，这三个都是经过大量数据训练，它们可以控制数据是否输入(如果不重要可以让数据不输入)，数据衰减的程度、是否输出(可以让数据不输出，而是作为输入传入下一个block)。下图可以说明：

代码如下：

import tensorflow as tf

from tensorflow.examples.tutorials.mnist import input_data

#载入数据集
mnist = input_data.read_data_sets("./MNIST_data/",one_hot=True)


# 输入图片是28*28
n_inputs = 28 #输入一行，一行有28个数据
max_time = 28 #一共28行
lstm_size = 100 #隐层单元
n_classes = 10 # 10个分类
batch_size = 50 #每批次50个样本
n_batch = mnist.train.num_examples // batch_size #计算一共有多少个批次


#这里的none表示第一个维度可以是任意的长度
x = tf.placeholder(tf.float32,[None,784])
#正确的标签
y = tf.placeholder(tf.float32,[None,10])


#初始化权值
weights = tf.Variable(tf.truncated_normal([lstm_size, n_classes], stddev=0.1))
#初始化偏置值
biases = tf.Variable(tf.constant(0.1, shape=[n_classes]))


#定义RNN网络
def RNN(X,weights,biases):

    # inputs的格式：[batch_size, max_time, n_inputs]一张图片是28*28，看成矩阵的话，就相当从上到下，从左到右扫描，

    inputs = tf.reshape(X,[-1,max_time,n_inputs])#注意-1代表的是未知值，之后接收到的是batch_size
    #定义LSTM基本CELL
    lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(lstm_size)
    # final_state[0]是cell state
    # final_state[1]是hidden_state、outputs是每一次输出结果hidden_state是最后一次输出结果。最后一次cell.output_size相当于hidden_state
    outputs,final_state = tf.nn.dynamic_run(lstm_cell,inputs,dtype=tf.float32)
    results = tf.nn.softmax(tf.matmul(final_state[1],weights) + biases)
    return results
    
    
#计算RNN的返回结果
prediction= RNN(x, weights, biases)  
#损失函数
cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=prediction,labels=y))
#使用AdamOptimizer进行优化
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
#结果存放在一个布尔型列表中
correct_prediction = tf.equal(tf.argmax(y,1),tf.argmax(prediction,1))#argmax返回一维张量中最大的值所在的位置
#求准确率
accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))#把correct_prediction变为float32类型
#初始化
init = tf.global_variables_initializer()


with tf.Session() as sess:
    sess.run(init)
    for epoch in range(6):
        for batch in range(n_batch):
            batch_xs,batch_ys =  mnist.train.next_batch(batch_size)
            sess.run(train_step,feed_dict={x:batch_xs,y:batch_ys})
        
        acc = sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels})
        print ("Iter " + str(epoch) + ", Testing Accuracy= " + str(acc))