tensorflow loss为nan 梯度截断

最新推荐文章于 2022-05-11 22:28:32 发布

fkyyly

最新推荐文章于 2022-05-11 22:28:32 发布

阅读量574

点赞数

分类专栏： tensorflow

本文链接：https://blog.youkuaiyun.com/fkyyly/article/details/103485081

版权

tensorflow 专栏收录该内容

17 篇文章

订阅专栏

本文详细介绍了使用TensorFlow进行深度学习模型训练时的优化策略，包括学习率衰减、Adam优化器的应用、梯度裁剪以及如何在训练过程中更新模型参数。通过具体的代码示例，展示了如何设置全局步数(global_step)，实现指数衰减的学习率，以及如何在优化过程中避免梯度爆炸问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

global_step = tf.Variable(0, trainable=False)
learning_rate = tf.train.exponential_decay(config.base_learning_rate, global_step,
                                           decay_steps=config.decay_steps,
                                           decay_rate=config.decay_rate,
                                           staircase=True)
optimizer = tf.train.AdamOptimizer(learning_rate) ##.minimize(loss_val, global_step)
gradients = optimizer.compute_gradients(loss_val)
capped_gradients = [(tf.clip_by_value(grad, -5., 5.), var) for grad, var in gradients if grad is not None]
train_op = optimizer.apply_gradients(capped_gradients, global_step)