Tensorflow-优化器

优化器：

1.标准梯度下降法
        先计算所有样本汇总误差，然后根据总误差来更新权值，但样本数目过大时，因为需要汇总所有样本总误差，更新速度慢
    2.随机梯度下降法(SGD)-->速度慢、容易局部最优
        随机抽取一个样本来计算误差，然后更新权值，但若每个样本都更新权值，权值更新的方向可能有误
    3.批量梯度下降法
        从总样本中选取一个批次(比如以供10000个样本，随机选取100个样本作为一个batch)，然后计算这个batch的总误差，根据总误差来更新权值
    
    具体优化器-->以后再补：
        1.SGD
        2.Momentum
            当前权值的改变会受到上一次权值改变的影响，类似小球向下滚动的时候戴上了惯性，这样可以加快小球的向下速度
        3.NAG
        4.Adagrad
            优点：不需要人为调节学习率，可以自动调节
            缺点：随着迭代次数的增多，学习率也会越来越低，最终会趋向于0
        5.RMSprop-->不会出现学习率越来越低的问题，而且也能自己调节学习率，并且可以有一个较好的结果
        6.Adadelta-->不需要设置学习率
        7.Adam-->吴恩达推荐使用 

 

使用Adam替代二次代价函数

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

#载入数据集,one_hot:将标签转换为只有一位为1，其它为0，会自动从网上下载数据集到当前目录
mnist=input_data.read_data_sets("MNIST_data",one_hot=True)

#每个批次的大小
batch_size=100
#计算一共有多少个批次（整除）
n_batch=mnist.train.num_examples//batch_size

#该神经网络只输入层和输出层，输入层包含784个神经元，输出层包含10个神经元
#定义两个placeholder,将28*28数字图片偏平为规格为784的向量
x=tf.placeholder(tf.float32,[None,784])
#标签结果
y=tf.placeholder(tf.float32,[None,10])

#创建一个简单的神经网络
#权值初始化为0,  784x10
W=tf.Variable(tf.zeros([784,10]))
#偏置值
b=tf.Variable(tf.zeros([10]))
#softmax将输出转化为概率值
prediction=tf.nn.softmax(tf.matmul(x,W)+b)

#二次代价函数,差的平方的平均值
#loss=tf.reduce_mean(tf.square(y-prediction))
#交叉熵代价函数的平均值
loss=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))

#梯度下降法
#train_step=tf.train.GradientDescentOptimizer(0.2).minimize(loss)
#Adam优化器 学习率：0.01或者1e-2：代表10的-2次方
train_step=tf.train.AdamOptimizer(0.01).minimize(loss)

#初始化变量
init=tf.global_variables_initializer()

#tf.argmax(y,1)返回1的位置(真实值)，tf.argmax(prediction,1)(预测值)返回概率值最大的位置，比较位置是否相等，若想等返回true，不等返回false，存放在布尔列表中
correct_prediction=tf.equal(tf.argmax(y,1),tf.argmax(prediction,1))#tf.argmax()返回一维张量中最大值的位置
#求准确率
accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32))

with tf.Session() as sess:
    sess.run(init)
    # 对所有图片迭代21次
    for epoch in range(21):
        #对所有图片分批训练一次
        for batch in range(n_batch):
            #获取一批(100个)样本图片,batch_xs:图片信息，batch_ys:图片标签
            batch_xs,batch_ys=mnist.train.next_batch(batch_size)
            #利用训练图片信息及对应标签，梯度下降法训练模型，得到权重W及b
            sess.run(train_step,feed_dict={x:batch_xs,y:batch_ys})

        #利用测试集进行测试该迭代时模型的准确率
        acc=sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels})
        #打印迭代次数及对应准确率
        print("Iter "+str(epoch)+",Testing Accuracy "+str(acc))

 

运行结果：