为什么在优化算法中使用指数加权平均

本文知识点：

1. 什么是指数加权平均？
2. 为什么在优化算法中使用指数加权平均？
3. β 如何选择？

---

1. 什么是指数加权平均

指数加权平均(exponentially weighted averges)，也叫指数加权移动平均，是一种常用的序列数据处理方式。

它的计算公式如下：

其中，

• $θ_t$：为第 t 天的实际观察值，
• $V_t$: 是要代替 $θ_t$ 的估计值，也就是第 t 天的指数加权平均值，
• β： 为 $V_{t-1}$ 的权重，是可调节的超参。( 0 < β < 1 )

例如：

我们有这样一组气温数据，图中横轴为一年中的第几天，纵轴为气温：

直接看上面的数据图会发现噪音很多，

这时，我们可以用 指数加权平均 来提取这组数据的趋势，

按照前面的公式计算：

这里先设置 β = 0.9，首先初始化 $V_0 ＝ 0$，然后计算出每个