Tensorflow代码学习-4-3优化器Optimizer

神经网络优化器

• 课程：炼数成金

• 代码：GITHUB

• 优快云

• 知乎

• 欢迎点亮star

Optimizer

• tf.train.GradientDescentOptimizer
• tf.train.AdadeltaOptimizer
• tf.train.AdagradDAOptimizer
• tf.train.MomentumOptimizer
• tf.train.AdamOptimizer
• tf.train.FtrlOptimizer
• tf.train.ProximalAdagradOptimizer
• tf.train.RMSPropOptimizer

各种优化器对比

• 标准梯度下降法：先计算所有样本汇总误差，然后根据总误差来更新权值；
• 随机梯度下降法：随机抽取一个样本来计算误差，然后更新权值；
• 批量梯度下降法：一种折中的方案，从总样本中选取一个批次（比如一共有10000个样本，随机选取100个样本作为一个batch），然后计算这个batch的总误差，根据总误差来更新权值。

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data   #手写数字相关的数据包

# 载入数据集
mnist = input_data.read_data_sets("MNIST_data",one_hot=True)    #载入数据，{数据集包路径，把标签转化为只有0和1的形式}

#定义变量，即每个批次的大小
batch_size = 100    #一次放100章图片进去
n_batch = mnist.train.num_examples // batch_size   #计算一共有多少个批次；训练集数量（整除）一个批次大小

#定义两个placeholder
x