tf.train.ExponentialMovingAverage

最新推荐文章于 2025-07-01 16:13:18 发布
原创 最新推荐文章于 2025-07-01 16:13:18 发布 · 374 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍在TensorFlow中如何使用指数移动平均(Exponential Moving Average)来提升模型验证效果。通过在训练过程中保留变量的指数衰减平均值，可以在模型验证时获得比直接使用最终训练参数更好的结果。文章详细解释了apply(), average()和average_name()方法的用途，以及它们在训练和验证过程中的具体应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

https://www.tensorflow.org/versions/r1.13/api_docs/python/tf/train/ExponentialMovingAverage#top_of_page

通过乘以一个指数衰减，保留变量的moving average

训练模型时，保留训练变量的moving average是有用的。平均的参数做验证的效果要优于直接用final trained的参数做的验证。

  1. apply()方法：为训练参数创建 shadow copy，并且在训练参数的shadow copy中加入moving average。apply()方法用在创建训练模型的过程中，保留moving average的操作则是在每一轮训练完成时完成。
  2. average()和average_name()方法可以得到变量的shadow copy的值以及名字。这个是用在构建验证模型的过程中，或是从checkpoint文件恢复变量的时候。可以利用这两个方法实现用shadow copy代替最终的训练值。
  3. moving average是用指数衰减计算的，shadow copy和它对应的训练变量的初始值相同，shadow copy的更新公式：\\shadow_-variable -= (1-decay)*(shadow_-variable-variable)\\ \\shadow_-variable = decay*shadow_-variable + (1-decay)*variable       decay一般是0.999,0.9999等
  4. 模型验证时：
    1. average() 方法
    2. 当利用checkpoint时，用average_name()

# moving average似乎不再需要单独加在代码中，用Adam优化器就可以达到moving average的效果

 

 

tf.train.ExponentialMovingAverage的用法
UESTC_C2_403的博客
05-16 1万+
tf.train.ExponentialMovingAverage(decay, steps) tf.train.ExponentialMovingAverage这个函数用于更新参数，就是采用滑动平均的方法更新参数。这个函数初始化需要提供一个衰减速率（decay），用于控制模型的更新速度。这个函数还会维护一个影子变量（也就是更新参数后的参数值），这个影子变量的初始值就是这个变量的初始值，影子
tf.train.ExponentialMovingAverage解析
qishi的博客
06-19 6567
Maintains moving averages of variables by employing an exponential decay.这是官方的文档解释。 要想理解上面这句话就要知道什么是moving average和exponential decay。下面分别解释一下这两个概念。exponential decay在有时学习率的设置时，我们会把学习率设计为指数衰减的，就是让学习率满足一
tf.train.ExponentialMovingAverage()
liugan528的博客
10-25 360
滑动平均模型是可以使模型在测试数据上更加鲁棒的一个方法。 在TensorFlow中提供了tf.train.ExponentialMovingAverage来实现滑动平均模型，其参数衰减率decay用于控制模型更新的速度。ExponentialMovingAverage对每个变量维护一个影子变量(shadow variable)，该影子变量的初始值就是相应变量的初始值，每次运行变量更新时，影子变量的值会更新为：shadow_variable=decay∗shadow_variable+(1−decay)∗va
什么是EMA（Exponential Moving Average）
最新发布
weixin_55029563的博客
07-01 594
这种“厚近薄远”的加权方式使EMA能够比简单地将所有数据同等看待的“简单移动平均”（Simple Moving Average, SMA）更快地响应最新的变化。你是更看重昨天的气温，还是更看重一个月前某一天的气温？显然是昨天的气温参考价值更大。EMA的计算是一个迭代或递推的过程。也就是说，计算今天的EMA需要用到昨天的EMA值。为了更好地理解EMA，我们先快速看一下它的“同胞兄弟”——简单移动平均（SMA）。计算一个加权平均值，权重随着数据点的“年龄”增长而呈指数级衰减。的计算与你选择的时间周期。
Tensorflow滑动平均模型解析
泛用演化计算、通用人工智能优化模型
09-14 1097
觉得有用的话,欢迎一起讨论相互学习~Follow Me移动平均法相关知识原文链接移动平均法又称滑动平均法、滑动平均模型法（Moving average，MA）什么是移动平均法　 移动平均法是用一组最近的实际数据值来预测未来一期或几期内公司产品的需求量、公司产能等的一种常用方法。移动平均法适用于即期预测。当产品需求既不快速增长也不快速下降，且不存在季节性因素时，移动平均法能有效地消除预测中的随机波动，
Tensorflow框架 —— tf.ExponentalMovingAverage()
DAOCHI
06-14 473
关于该函数，官方给出以下说明： When training a model, it is often beneficial to maintain moving averages of the trained parametes. Evaluations that use averaged parameters sometimes produce significantly better results than the final trained values. 也即是说，当测试模型的时候， 使用参数
tf.train.exponentialmovingaverage
08-20
tf.train.exponentialmovingaverage是TensorFlow中的一个函数，用于实现指数移动平均。它可以用于模型参数的平滑处理，使得模型更加稳定和鲁棒。在训练过程中，每次更新模型参数时，指数移动平均会根据设定的衰减率...
import time import tensorflow.compat.v1 as tf tf.disable_v2_behavior() from tensorflow.examples.tutorials.mnist import input_data import mnist_inference import mnist_train tf.compat.v1.reset_default_graph() EVAL_INTERVAL_SECS = 10 def evaluate(mnist): with tf.Graph().as_default() as g: #定义输入与输出的格式 x = tf.compat.v1.placeholder(tf.float32, [None, mnist_inference.INPUT_NODE], name='x-input') y_ = tf.compat.v1.placeholder(tf.float32, [None, mnist_inference.OUTPUT_NODE], name='y-input') validate_feed = {x: mnist.validation.images, y_: mnist.validation.labels} #直接调用封装好的函数来计算前向传播的结果 y = mnist_inference.inference(x, None) #计算正确率 correcgt_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1)) accuracy = tf.reduce_mean(tf.cast(correcgt_prediction, tf.float32)) #通过变量重命名的方式加载模型 variable_averages = tf.train.ExponentialMovingAverage(0.99) variable_to_restore = variable_averages.variables_to_restore() saver = tf.train.Saver(variable_to_restore) #每隔10秒调用一次计算正确率的过程以检测训练过程中正确率的变化 while True: with tf.compat.v1.Session() as sess: ckpt = tf.train.get_checkpoint_state(minist_train.MODEL_SAVE_PATH) if ckpt and ckpt.model_checkpoint_path: #load the model saver.restore(sess, ckpt.model_checkpoint_path) global_step = ckpt.model_checkpoint_path.split('/')[-1].split('-')[-1] accuracy_score = sess.run(accuracy, feed_dict=validate_feed) print("After %s training steps, validation accuracy = %g" % (global_step, accuracy_score)) else: print('No checkpoint file found') return time.sleep(EVAL_INTERVAL_SECS) def main(argv=None): mnist = input_data.read_data_sets(r"D:\Anaconda123\Lib\site-packages\tensorboard\mnist", one_hot=True) evaluate(mnist) if __name__ == '__main__': tf.compat.v1.app.run()对代码进行改进
05-26
variable_averages = tf.train.ExponentialMovingAverage(mnist_train.MOVING_AVERAGE_DECAY) variables_to_restore = variable_averages.variables_to_restore() saver = tf.train.Saver(variables_to_restore) ...
Tensorflow（二）：神经网络优化
zhangbingxiazai的专栏
04-12 1038
上一博客是神经网络的四大步骤：神经网络的实现过程：1、准备数据集，提取特征，作为输入喂给神经网络（Neural Network，NN）2、搭建NN结构，从输入到输出（先搭建计算图，再用会话执行）3、大量特征数据喂给NN，迭代优化NN参数4、使用训练好的模型预测和分类但是在神经网络中，也会有很多可以优化的地方1、损失函数上一次损失函数是按照均方的方式计算的，但是在处理很多现实问题时，我们可能会定义更...
tensorflow中moving average的用法
weixin_34113237的博客
12-21 323
一般在保存模型参数的时候，都会保存一份moving average，是取了不同迭代次数模型的移动平均，移动平均后的模型往往在性能上会比最后一次迭代保存的模型要好一些。 tensorflow-models项目中tutorials下cifar中相关的代码写的有点问题，在这写下我自己的做法：   1.构建训练模型时，添加如下代码 1 variable_averages = tf.train....
tensorflow 下的滑动平均模型 —— tf.train.ExponentialMovingAverage
热门推荐
04-26 1万+
在采用随机梯度下降算法训练神经网络时，使用 tf.train.ExponentialMovingAverage 滑动平均操作的意义在于提高模型在测试数据上的健壮性（robustness）。 tensorflow 下的 tf.train.ExponentialMovingAverage 需要提供一个衰减率（decay）。该衰减率用于控制模型更新的速度。该衰减率用于控制模型更新的速度，Expon...
tf.train.ExponentialMovingAverage用法
GAN_player的博客
09-03 997
import tensorflow as tf import matplotlib.pyplot as plt learning_rate = tf.Variable(initial_value=0.9,dtype=tf.float32) learning_rate1 = tf.Variable(0,dtype=tf.float32) decay_rate = 0.99 global_steps
tensorflow 下的滑动平均模型 —— tf train ExponentialMovingAverage
hftytf的博客
11-08 195
tensorflow 下的滑动平均模型 —— tf train ExponentialMovingAverage
Tensorflow中tf.train.ExponentialMovingAverage（）函数
mieleizhi0522的博客
05-23 3218
先解释一下滑动平均的作用：Some training algorithms, such as GradientDescent and Momentum often benefit from maintaining a moving average of variables during optimization. Using the moving averages for evaluations ...
【TensorFlow】TensorFlow函数精讲之tf.train.ExponentialMovingAverage()
中科院AI算法工程师的博客
11-17 597
tf.train.ExponentialMovingAverage来实现滑动平均模型。 格式： tf.train.ExponentialMovingAverage（decay，num_step） 参数说明： 第一个参数：decay，衰减率，一般设置接近1的数。 第二个参数：num_step，动态设置decay的大小。 tf.train.ExponentialMovingAverage使...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值