关于global_step参数

原创

于 2021-11-12 14:32:14 发布 · 2.3k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#tensorflow #人工智能 #深度学习

本文探讨了全局步数(global_step)与学习率的关系，如何通过exponential_decay调整学习率，以及在Estimator中的应用。重点讲解了学习率衰减策略和如何在训练过程中自动更新。同时，分享了estimator.train中的日志观察技巧。

关于global_step参数

global_step与learning_rate的关系
global_step与estimator的关系

1 global_step与learning_rate的关系
learning_rate：在梯度下降中学习率大小很关键，过大容易造成震荡，过小容易陷入局部最优值以及降低收敛速度加长学习时间。起初学习率过大是加速到达最低点，解决学习率国小的问题；随着训练步数的增加，学习率呈指数递减，防止学习率过大而到达不了最低点，使得最后趋于平稳，到达一个稳定的学习状态
learning_rate衰减方式：
lr_init - 初始学习率
decay_rate - 学习衰减率
global_step - 全局训练步数（每训练一个batch就+1）
decay_step - 衰减步数（训练100 或 10000步之后开始改变学习率）

		阶梯式l  r_new = lr_init * decay_rate^(global_step/decay_step)
		 				当且仅当global_step/decay_step 为整数时学习率才会改变
		 				 tfAPI:
		指数形式 lr_new = lr_init * decay_rate^(global_step/decay_step)
		               每训练一个batch学习率都会更新