TensorFlow优化算法 tf.train.AdamOptimizer 简介

AdamOptimizer是TensorFlow中实现Adam算法的优化器。Adam即Adaptive Moment Estimation（自适应矩估计），是一个寻找全局最优点的优化算法，引入了二次梯度校正。Adam 算法相对于其它种类算法有一定的优越性，是比较常用的算法之一。

一、算法流程

初始化：

更新规则：

二、 参数定义

__init__(
    learning_rate=0.001,
    beta1=0.9,
    beta2=0.999,
    epsilon=1e-08,
    use_locking=False,
    name='Adam'
)

参数含义：

• learning_rate: A Tensor or a floating point value. （学习率）
• beta1: A float value or a constant float tensor. （一阶矩估计