tf.train.exponential_decay的用法

UESTC_C2_403

于 2017-05-15 20:40:57 发布

阅读量2.5w

点赞数 9

CC 4.0 BY-SA版权

分类专栏： tensorflow用法

本文链接：https://blog.youkuaiyun.com/UESTC_C2_403/article/details/72213286

本文介绍了TensorFlow的exponential_decay函数，用于进行指数衰减学习率的设置。参数包括初始学习率、全局步数、衰减步长和衰减率。当staircase为True时，学习率在每 decay_steps 步骤后阶梯式下降；若为False，则在每一步都线性衰减。示例中展示了不同设置下的学习率变化情况。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

tf.train.exponential_decay(learning_rate, global_, decay_steps, decay_rate, staircase=True/False)

例如：

import tensorflow as tf;
import numpy as np;
import matplotlib.pyplot as plt;

learning_rate = 0.1
decay_rate = 0.96
global_steps = 1000
decay_steps = 100

global_ = tf.Variable(tf.constant(0))
c = tf.train.exponential_decay(learning_rate, global_, decay_steps, decay_rate, staircase=True)
d = tf.train.exponential_decay(learning_rate, global_, decay_steps, decay_rate, staircase=False)

T_C = []
F_D = []

with tf.Session() as sess:
	for i in range(global_steps):
		T_c = sess.run(c,feed_dict={global_: i})
		T_C.append(T_c)
		F_d = sess.run(d,feed_dict={global_: i})
		F_D.append(F_d)


plt.figure(1)
plt.plot(range(global_steps), F_D, 'r-')
plt.plot(range(global_steps), T_C, 'b-')
	
plt.show()

分析：

初始的学习速率是0.1，总的迭代次数是1000次，如果staircase=True，那