指数加权平均(MEA)

原创已于 2022-05-08 13:39:34 修改 · 1.3k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch

于 2022-05-08 13:38:20 首次发布

torch 专栏收录该内容

7 篇文章

订阅专栏

滑动平均，也称为指数加权平均，是一种用于估算变量局部均值的方法，它考虑了历史数据的影响。在机器学习中，指数滑动平均(EMA)常用于模型参数的平滑更新，以提高模型性能。本文通过代码示例展示了如何在Python中实现EMA，并用两个epoch的参数更新进行了演示。

1. 定义

滑动平均(exponential moving average)，或者叫做指数加权平均(exponentially weighted moving average)，可以用来估计变量的局部均值，使得变量的更新与一段时间内的历史取值有关。

2. 通俗解释

变量 $v$ 在 𝑡 时刻记 $v_{t}$ ， $\theta _{t}$ 为变量 𝑣在 𝑡 时刻的取值，即在不使用滑动平均模型时 $\theta _t = v_t$ ，在使用滑动平均模型后， $v_t$ 的更新公式如下：

$v_t = \beta \cdot v_{(t-1)}+(1-\beta) \cdot v_{(t)}$

上式中，𝛽∈[0,1)β∈[0,1)。若β=0 相当于没有使用滑动平均。

3. 代码实现

class EMA():
    def __init__(self, decay):
        self.decay = decay
        self.shadow = {}

    def register(self, name, val):
        self.shadow[name] = val

    def get(self, name):
        return self.shadow[name]

    def update(self, name, x):
        assert name in self.shadow
        new_average = (1.0 - self.decay) * x + self.decay * self.shadow[name]
        print(new_average)
        self.shadow[name] = new_average

# 假如a是第一个epoch后的参数
a = {"a":0.1,"b":0.2,'c':0.3,'d':1}
ema = EMA(0.5)


for name in a:
    ema.register(name, a[name])
# 假如a是第二个epoch后的参数
a = {"a":0.2,"b":0.3,'c':0.4,'d':2}
for name in a:
    ema.update(name, a[name])

输出结果如下：