tf.train（优化算法）

最新推荐文章于 2025-05-14 12:48:37 发布

置顶法相

最新推荐文章于 2025-05-14 12:48:37 发布

阅读量3.9k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： TensorFlow 深度学习文章标签： TensorFlow tf.train 优化梯度计算学习率

本文链接：https://blog.youkuaiyun.com/weixin_38569817/article/details/80421395

深度学习同时被 2 个专栏收录

108 篇文章

订阅专栏

TensorFlow

2 篇文章

订阅专栏

本文介绍了TensorFlow中各类优化器的功能与实现方式，并详细解释了如何通过不同的优化器进行模型训练。此外，还探讨了梯度计算及学习率衰减的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

tf 下以大写字母开头的含义为名词的一般表示一个类（class）
1. 优化器（optimizer）
优化器的基类（Optimizer base class）主要实现了两个接口，一是计算损失函数的梯度，二是将梯度作用于变量。tf.train 主要提供了如下的优化函数：

tf.train.Optimizer
tf.train.GradientDescentOptimizer
tf.train.AdadeltaOpzimizer
Ada delta
tf.train.AdagradDAOptimizer
tf.train.MomentumOptimizer
tf.train.AdamOptimizer
tf.train.FtrlOptimizer
tf.train.ProximalGradientDescentOptimizer
tf.train.ProximalAdagradOptimizer
tf.train.RMSPropOptimizer
2. 梯度计算
TensorFlow 同时也提供了给定 TensorFlow 计算图（computation graph）的导数。上节提到的优化器类（optimizer classes）会自动计算 computation graph 的导数，但用户自定义优化器时，可以使用如下低级别的函数：

tf.gradients
tf.AggregationMethod
tf.stop_gradient
tf.hessians
2. 学习率衰减（decaying the learning rate）
2.1 tf.train.exponential_decay 衰减
2.2 tf.train.piecewise_constant 当走到一定步长时更改学习率