tensorflow- 优化器

tensorflow有多种优化器：

tf.train.GradientDescentOptimizer      

tf.train.AdadeltaOptimizer                   

tf.train.AdagradOptimizer

tf.train.MomentumOptimizer

tf.train.AdamOptimizer

tf.train.FtrlOptimizer

tr.train.RMSPropOptimizer

其中GradientDescentOptimizer使用广泛，但收敛也最慢，不过稳定性较好，AdadeltaOptimizer和RMSPropOptimizer两个优化器收敛速度快同时也稳定，阿尔法-go用的优化器是RMSPropOptimizer，MomentumOptimizer速度最快，不过初始值不好时会向错误的方向搜索。