TensorFlow 实战（二）—— tf train（优化算法）

分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.youkuaiyun.com/jiangjunshow

也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！

                       

Training  |  TensorFlow

• tf 下以大写字母开头的含义为名词的一般表示一个类（class）

1. 优化器（optimizer）

优化器的基类（Optimizer base class）主要实现了两个接口，一是计算损失函数的梯度，二是将梯度作用于变量。tf.train 主要提供了如下的优化函数：

• tf.train.Optimizer
• tf.train.GradientDescentOptimizer
• tf.train.AdadeltaOpzimizer
  
  • Ada delta
• tf.train.AdagradDAOptimizer
• tf.train.MomentumOptimizer
• tf.train.AdamOptimizer
• tf.train.FtrlOptimizer
• tf.train.ProximalGradientDescentOptimizer
• tf.train.ProximalAdagradOptimizer
• tf.train.RMSPropOptimizer

2. 梯度计算

TensorFlow 同时也提供了给定 TensorFlow 计算图（computation graph）的导数。上节提到的优化器类（optimizer classes）会自动计算 computation graph 的导数，但用户自定义优化器时，可以使用如下低级别的函数：

• tf.gradients
• tf.AggregationMethod
• tf.stop_gradient
• tf.hessians

2. 学习率衰减（decaying the learning rate）

• tf.train.exponential_decay

  # 实现的是如下的操作decayed_lr = lr * decay_rate ^ (global_step/decay_steps)
      
  1
  2
  3
  4

  在其 tf 下的使用为：
      
  1

  lr = tf.train.exponential_decay(0.1, global_step, 100, .96, staircase=True)
      
  1

• tf.train.inverse_time_decay

• tf.train.natural_exp_decay
• tf.train.piecewise_constant
• tf.train.polynomial_decay

           

给我老师的人工智能教程打call！http://blog.youkuaiyun.com/jiangjunshow