TensorFlow滑动平均模型

在Tensorflow中提供了tf.train.ExponentialMovingAverage来实现滑动平均模型。在初始化ExponentialMovingAverage时，需要提供一个衰减率（decay）。这个衰减率将用于控制模型更新的速度。ExponentialMovingAverage对每一个变量会维护一个影子变量（shadow vaiable），这个影子变量的初始值就是相应变量的初始值，而每次运行变量更新时影子变量的值就会更新为：$$shadowvariable=decay\ast shadowvariable+(1-decay)\ast variable$$其中shadowvariable为影子变量，variable为待更新的变量，decay为衰减率，从公式中可以看出，decay决定了模型更新的速度，decay越大模型越稳定。在实际应用中。decay一般会设定成非常接近1的数(比如0.99,0.999)。为了使得模型在训练前期可以更新的更快，ExponentialMovingAverage还提供了num_updates参数来动态设置decay的大小，如果在ExponentialMovingAverage初始化时提供了num_updates参数，那么每次使用的衰减率将是： m i n { d e c a y , 1 + n u m u p d a t e s / 10 + n u m u p d a t e s } min\{decay,1+numupdates/10+numupdates\} min{decay,1+numupdates/10+numupdates}下面通过一段代码来解释ExponentialMovingAverage是如何被使用的。

import tensorflow as tf
#定义一个变量用于计算滑动平均，这个变量的初始值为0，注意这里手动指定了
#变量的类型为tf.float32,因为所有需要计算滑动平均的变量必须是实数型
v1=tf.Variable([[1,1],[1,1]],dtype=tf.float32)
#这里的step变量模拟神经网络中迭代的轮数，可以用于动态控制衰减率
step=tf.Variable(0,trainable=False)
ema=tf.train.ExponentialMovingAverage(0.99,step)
maintain_averages_op=ema.apply([v1])

with tf.Session() as sess:
    init_op=tf.initialize_all_variables()
    sess.run(init_op)
    print(sess.run([v1,ema.average(v1)]))

#更新变量v1的值到5
    sess.run(tf.assign(v1,[[5,5],[5,5]],))
    sess.run(maintain_averages_op)
    print(sess.run([v1,ema.average(v1)]))

    sess.run(tf.assign(step,10000))
    sess.run(tf.assign(v1,10))
    sess.run(maintain_averages_op)
    print(sess.run([v1,ema.average(v1)]))

    sess.run(maintain_averages_op)
    print(sess.run([v1,ema.average(v1)]))